[논문 리뷰] CGO/PPoPP'17 Artifact Evaluation Discussion (enabling open and reproducible research)

Grigori Fursin|arXiv (Cornell University)|2017. 02. 19.

Scientific Computing and Data Management참고 문헌 3인용 수 3

한 줄 요약

이 논문은 컴퓨터 시스템 연구 분야에서 재현 가능성과 협업을 향상시키기 위해 공동체 기반의 개방형 접근 방식을 제안한다. cTuning.org와 같은 공개 리포지터리를 통해 코드, 데이터, 메타데이터를 포함한 완전한 실험 자료를 공유함으로써, 공동체 기반의 검증, 공개적 논의, 반복적 개선을 가능하게 하여 심사 부담을 크게 줄이고 평가의 공정성과 투명성을 향상시킨다.

ABSTRACT

<em>14 March 2017, CNRS webinar, Grenoble, France</em> A decade ago my research nearly stalled. I was investigating how to crowdsource performance analysis and optimization of realistic workloads across diverse hardware provided by volunteers and combine it with machine learning [1]. Often, it was simply impossible to reproduce crowdsourced empirical results and build predictive models due to continuously changing software and hardware stacks. Worse still, lack of realistic workloads and representative data sets in our community severely limited the usefulness of such models.<br> <br> All these problems motivated me to create a public portal (cTuning.org) to share, validate and reuse workloads, data sets, tools, experimental results, and predictive models while involving the community in this effort [2]. This experience, in turn, helped us to initiate the so-called Artifact Evaluation (AE) at ACM conferences on parallel programming, architecture and code generation (ASPLOS, CGO, PPoPP, PACT, SC and MLSys). AE aims to independently validate experimental results reported in the publications and to encourage code and data sharing. These slides are from my webinar <em>“Enabling open and reproducible research at computer systems conferences: the good, the bad and the ugly”</em> at CNRS Grenoble (14 March 2017). I shared my practical experience organizing Artifact Evaluation over the past years, along with encountered problems and possible solutions.<br> <br> On the one hand, we have received incredible support from the research community, ACM, universities, and companies. We have even received a record number of artifact submissions at the CGO/PPoPP'17 AE (27 vs 17 two years ago) sponsored by NVIDIA and the cTuning foundation. We have also introduced Artifact Appendices and co-authored the new ACM Result and Artifact Review and Badging policy now used at Supercomputing. <br> <br> On the other hand, the use of proprietary benchmarks, rare hardware platforms, and totally ad-hoc scripts to set up, run and process experiments all place a huge burden on evaluators. It is simply too difficult and time-consuming to customize and rebuild experimental setups, reuse artifacts and eventually build upon others’ efforts - the main pillars of open science!<br> <br> I then present Collective Knowledge (CK), my attempt to introduce a customizable workflow framework with a unified JSON API and a cross-platform package manager, that can automate ML&amp;systems R&amp;D and enable live papers while automatically adapting to continuously evolving software and hardware [3]. I also demonstrate a practical CK workflow to collaboratively optimize deep learning across different compilers, libraries, data sets and diverse platforms from resource-constrained mobile devices to data centers (see our Android app to crowdsource DNN optimization across diverse mobile devices provided by volunteers, and the public repository with results) [4].<br> <br> Finally, I describe our novel publication model to reproduce results from published papers with the help of the community [5]. <br> <br> <em>Please feel free to contact me at [e-mail] if you have any questions or comments! I am looking forward to your feedback! </em> <strong>References</strong> “Milepost GCC: Machine learning enabled self-tuning compiler”, International journal of parallel programming, Volume 39, Issue 3, pp.296-327, 2009 “Collective Tuning Initiative: automating and accelerating development and optimization of computing systems”, GCC Developers' Summit, Montreal, Canada. 2009 “Collective Knowledge: towards R&amp;D sustainability”, Proceedings of the Conference on Design, Automation, and Test in Europe (DATE), 2016 “Optimizing Convolutional Neural Networks on Embedded Platforms with OpenCL”, IWOCL'16, Vienna, Austria, 2016 “Community-driven reviewing and validation of publications”, Proceedings of the 1st ACM SIGPLAN Workshop on Reproducible Research Methodologies and New Publication Models in Computer Engineering @ PLDI’14, Edinburgh, UK

연구 동기 및 목표

• 결과 자료가 누락되거나 불완전하여 발생하는 컴퓨터 시스템 연구 분야의 광범위한 재현성 위기 해결
• 높은 제출 압력 상황에서 종종 느리고 편향되거나 불공정한 전통적 동료 심사의 한계 극복
• 연구 자료와 논문에 대한 공개적, 투명하고 시간이 기록된 평가를 가능하게 하여 공유와 협업 문화 조성
• 공식 심사 이전에 공동체 피드백과 사전 검증된 자료를 활용하여 심사자의 부담 감소
• 개방형 접근과 협업 기반 검증이 전통적 출판과 공존할 수 있으며 과학적 신뢰성과 영향력을 향상시킬 수 있음을 입증

제안 방법

• 벤치마크, 데이터셋, 도구, 예측 모델을 포함한 연구 자료를 공개하는 웹 포털(cTuning.org) 구축
• 기계 학습 및 최적화 기법에 대한 데이터 마이닝을 지원하기 위해 실험 결과에 세부적인 메타정보(특성) 통합
• 공개 출판을 통해 공개적 논의와 공동체 심사를 가능하게 하며, Slashdot와 같은 플랫폼에서의 고도로 노출된 사례로 이를 구체화
• 공개 피드백과 공동체 검증이 공식 동료 심사 이전 또는 이를 보완하도록 모델을 구현하여 심사 품질과 관련성 향상
• 컨테이너화(Docker 등), 기록 추적(CARE, Collective Mind 등), 버전 관리 리포지터리 등을 활용하여 복잡한 실험 설정의 재현 가능성 확보
• 공개 전인자 및 확장된 버전을 허용함으로써 전통적 출판과의 공존 지원과 동시에 특허화 또는 상용화 가능성 유지

실험 결과

연구 질문

• RQ1 공동체 기반 자료 검증은 컴퓨터 시스템 연구에서 실험 결과의 재현 가능성과 신뢰성 향상에 어떻게 기여할 수 있는가?
• RQ2 전통적 심사자 부담을 줄이면서도 평가의 공정성과 투명성을 향상시키기 위한 메커니즘은 무엇인가?
• RQ3 연구 자료와 결과에 대한 공개적, 개방형 플랫폼은 더 빠른 검증, 향상된 모델 정확도, 광범위한 과학적 영향을 가져올 수 있는가?
• RQ4 부정적 결과나 실패한 실험은 어떻게 의미 있게 공유하고 활용할 수 있으며, 이를 통해 중복 연구를 방지하고 진전을 가속화할 수 있는가?
• RQ5 지속 가능하고 협업 기반이며 재현 가능한 컴퓨터 공학 연구를 뒷받침하기 위해 필요한 기술적·문화적 변화는 무엇인가?

주요 결과

• 공동체가 저자들의 개방형 출판물에 대해 사실상의 심사자 역할을 하여 유용한 피드백을 제공하고 누락된 인용을 발견하며, 공개적 논의를 통해 작업을 향상시켰다.
• Slashdot와 같은 플랫폼에서의 공개 노출로 공동체 참여가 크게 증가했으며, 150개 이상의 댓글을 포함한 활발한 상호작용을 보여 주었으며, 이는 공개 검증과 빠른 피드백 루프의 잠재력을 입증한다.
• 이 접근 방식은 산업 선도 기업들로부터 조기에 수용되고 인정받았다: IBM은 2009년에 임베디드 시스템 최적화를 위해 이 작업을 인용하였고, 2014년에는 퓨즈루가 엑사스케일 시스템 분야에서 이를 인용하였다.
• 개방형 접근과 공유된 자료 덕분에 저자들은 이후 국제 병렬 프로그래밍 저널(IJPP)의 특별호에 연구를 확장하여 출간할 수 있었으며, 전통적 출판과의 호환성을 입증하였다.
• 이 모델은 재현 가능성을 자연스럽게 부산물로 내보내며 수동 검증에 대한 의존도를 줄이고, 동료 심사의 품질과 공정성을 향상시킨다.
• 저자들은 부정적 결과와 실패한 실험도 의미 있게 공유하고 논의할 수 있음을 관찰하였으며, 이를 통해 중복 연구를 방지하고 집단적 발전을 이룰 수 있었지만, 이 실천은 여전히 공동체에서 활용도가 낮은 편이다.