[論文レビュー] CGO/PPoPP'17 Artifact Evaluation Discussion (enabling open and reproducible research)

Grigori Fursin|arXiv (Cornell University)|Feb 19, 2017

Scientific Computing and Data Management参考文献 3被引用数 3

ひとこと要約

本論文は、研究の再現性と共同作業を向上させるために、コミュニティ主導でオープンアクセスな研究発表およびアーティファクト評価のモデルを提案する。コード、データ、メタデータを含む完全な実験的アーティファクトをcTuning.orgなどの公開リポジトリを通じて共有することで、集団による検証、公開ディスカッション、反復的改善が可能となり、レビュアーの負担を著しく軽減し、学術的評価の公平性と透明性を向上させる。

ABSTRACT

<em>14 March 2017, CNRS webinar, Grenoble, France</em> A decade ago my research nearly stalled. I was investigating how to crowdsource performance analysis and optimization of realistic workloads across diverse hardware provided by volunteers and combine it with machine learning [1]. Often, it was simply impossible to reproduce crowdsourced empirical results and build predictive models due to continuously changing software and hardware stacks. Worse still, lack of realistic workloads and representative data sets in our community severely limited the usefulness of such models.<br> <br> All these problems motivated me to create a public portal (cTuning.org) to share, validate and reuse workloads, data sets, tools, experimental results, and predictive models while involving the community in this effort [2]. This experience, in turn, helped us to initiate the so-called Artifact Evaluation (AE) at ACM conferences on parallel programming, architecture and code generation (ASPLOS, CGO, PPoPP, PACT, SC and MLSys). AE aims to independently validate experimental results reported in the publications and to encourage code and data sharing. These slides are from my webinar <em>“Enabling open and reproducible research at computer systems conferences: the good, the bad and the ugly”</em> at CNRS Grenoble (14 March 2017). I shared my practical experience organizing Artifact Evaluation over the past years, along with encountered problems and possible solutions.<br> <br> On the one hand, we have received incredible support from the research community, ACM, universities, and companies. We have even received a record number of artifact submissions at the CGO/PPoPP'17 AE (27 vs 17 two years ago) sponsored by NVIDIA and the cTuning foundation. We have also introduced Artifact Appendices and co-authored the new ACM Result and Artifact Review and Badging policy now used at Supercomputing. <br> <br> On the other hand, the use of proprietary benchmarks, rare hardware platforms, and totally ad-hoc scripts to set up, run and process experiments all place a huge burden on evaluators. It is simply too difficult and time-consuming to customize and rebuild experimental setups, reuse artifacts and eventually build upon others’ efforts - the main pillars of open science!<br> <br> I then present Collective Knowledge (CK), my attempt to introduce a customizable workflow framework with a unified JSON API and a cross-platform package manager, that can automate ML&amp;systems R&amp;D and enable live papers while automatically adapting to continuously evolving software and hardware [3]. I also demonstrate a practical CK workflow to collaboratively optimize deep learning across different compilers, libraries, data sets and diverse platforms from resource-constrained mobile devices to data centers (see our Android app to crowdsource DNN optimization across diverse mobile devices provided by volunteers, and the public repository with results) [4].<br> <br> Finally, I describe our novel publication model to reproduce results from published papers with the help of the community [5]. <br> <br> <em>Please feel free to contact me at [e-mail] if you have any questions or comments! I am looking forward to your feedback! </em> <strong>References</strong> “Milepost GCC: Machine learning enabled self-tuning compiler”, International journal of parallel programming, Volume 39, Issue 3, pp.296-327, 2009 “Collective Tuning Initiative: automating and accelerating development and optimization of computing systems”, GCC Developers' Summit, Montreal, Canada. 2009 “Collective Knowledge: towards R&amp;D sustainability”, Proceedings of the Conference on Design, Automation, and Test in Europe (DATE), 2016 “Optimizing Convolutional Neural Networks on Embedded Platforms with OpenCL”, IWOCL'16, Vienna, Austria, 2016 “Community-driven reviewing and validation of publications”, Proceedings of the 1st ACM SIGPLAN Workshop on Reproducible Research Methodologies and New Publication Models in Computer Engineering @ PLDI’14, Edinburgh, UK

研究の動機と目的

• 実験的アーティファクトが欠落または不完全であることが原因で広がるコンピュータシステム分野における再現性の危機に対処すること。
• 高い提出圧力下でも遅く、偏りや不平等が生じやすい伝統的なピアレビューの限界を克服すること。
• 研究アーティファクトと出版物の公開、透明性、時刻スタンプ付きの評価を可能にすることで、共有と協働の文化を育成すること。
• 公式レビューの前段階または補完として、コミュニティからのフィードバックと事前検証済みアーティファクトを活用することで、レビュアーの負担を軽減すること。
• オープンアクセスと共同検証が、伝統的な出版と併存可能であり、科学的整合性と影響力を高められることを示すこと。

提案手法

• ベンチマーク、データセット、ツール、予測モデルを含む研究アーティファクトをホスティングおよび共有するための公開Webポータル（cTuning.org）を展開する。
• 最適化手法の機械学習およびデータマイニングを支援するため、詳細なメタ情報（特徴）と実験結果を統合する。
• オープンアクセス出版により、公開ディスカッションとコミュニティレビューを可能にし、Slashdotなどのプラットフォームでの高可視性を例示する。
• 公開フィードバックとコミュニティによる検証を公式ピアレビューの前段階または補完として実装し、レビューカラムの質と関連性を向上させる。
• コンテナ化（例：Docker）、プロバンス追跡（例：CARE、Collective Mind）、バージョン管理リポジトリを活用して、複雑な実験設定の再現性を確保する。
• オープンアクセスのプレプリントや拡張版を許容することで、伝統的出版との共存を支援するが、特許化や商業化の選択肢を維持する。

実験結果

リサーチクエスチョン

• RQ1 コミュニティ主導のアーティファクト評価は、コンピュータシステム分野の研究において、実験的結果の再現性と信頼性をどのように向上させ得るか？
• RQ2 伝統的レビュアーの負担を軽減しつつ、出版評価の公平性と透明性を高めるためのメカニズムとは何か？
• RQ3 研究アーティファクトと結果のための公開・オープンアクセスプラットフォームは、迅速な検証、モデル精度の向上、広範な科学的インパクトをもたらすことができるか？
• RQ4 否定的または失敗した結果をどのように意味的に共有し、再発の防止と進歩の加速に役立てることができるか？
• RQ5 持続可能な協働的・再現可能な研究を実現するための、技術的および文化的な変化とは何か？

主な発見

• コミュニティが著者のオープンアクセス出版の事実上のレビュアーとして機能し、貴重なフィードバックを提供し、欠落した引用を特定し、公開ディスカッションを通じて研究を改善した。
• Slashdotなどのプラットフォームでの公開露出により、150件を超えるコメントを含む顕著なコミュニティ参加が得られ、公開による検証と迅速なフィードバックループの可能性が示された。
• このアプローチにより、産業界のリーダーからの早期採用と認識が得られた：IBMは2009年に組み込みシステム最適化の文脈で本研究を引用し、富士通は2014年にエクサスケールシステムの文脈で引用した。
• オープンアクセスと共有されたアーティファクトのおかげで、著者らは後に『国際並列プログラミングジャーナル』（IJPP）の特別号にその研究を拡張して発表でき、伝統的出版との相性が確認された。
• このモデルは、再現性を自然な副産物として生み出すため、手動による検証への依存を減らし、ピアレビューの質と公平性を向上させる。
• 著者らは、否定的結果や失敗した実験を意味的に共有・議論できることを観察したが、これは再発の防止と集団的改善を可能にする一方で、コミュニティ全体でこの実践がまだ十分に活用されていないことにも気づいた。