[논문 리뷰] Complications for Computational Experiments from Modern Processors

Ian P. Gent, Hecher, Markus외 2명|arXiv (Cornell University)|2013. 04. 12.

Scientific Computing and Data Management참고 문헌 15인용 수 35

한 줄 요약

이 논문은 컴퓨터 과학 분야의 계산 실험을 장기적으로 재현 가능하게 보장하기 위해 정확한 가상 머신 환경을 유지하도록 의무화하는 '재계산 선언서(recomputation manifesto)'를 제안한다. 오직 원래 실행 환경을 정확하게 재현할 수 있는 완전한 에뮬레이터 가능한 가상 머신을 제공함으로써, 수십 년 후에도 실험이 신뢰성 있게 재계산될 수 있으며, 궁극적으로 모든 실험을 영구히 재계산 가능하게 하는 것을 목표로 한다.

ABSTRACT

In this paper, we revisit the approach to empirical experiments for combinatorial solvers. We provide a brief survey on tools that can help to make empirical work easier. We illustrate origins of uncertainty in modern hardware and show how strong the influence of certain aspects of modern hardware and its experimental setup can be in an actual experimental evaluation. More specifically, there can be situations where (i) two different researchers run a reasonable-looking experiment comparing the same solvers and come to different conclusions and (ii) one researcher runs the same experiment twice on the same hardware and reaches different conclusions based upon how the hardware is configured and used. We investigate these situations from a hardware perspective. Furthermore, we provide an overview on standard measures, detailed explanations on effects, potential errors, and biased suggestions for useful tools. Alongside the tools, we discuss their feasibility as experiments often run on clusters to which the experimentalist has only limited access. Our work sheds light on a number of benchmarking-related issues which could be considered to be folklore or even myths.

연구 동기 및 목표

• 컴퓨터 과학 분야에서 계산 실험의 광범위한 재현 불가능성 문제를 해결하기 위해.
• 실험을 장기간에 걸쳐 정확히 반복 가능하도록 보장하기 위해 재계산 가능성을 표준 관행으로 정착시키기 위해.
• 소스 코드 공개만으로는 일관된 실행 환경을 보장하지 못하므로, 이를 초월한 방법이 필요하다는 점을 해결하기 위해.
• 가상 머신을 장기적 재계산 가능성을 보장하는 유일한 신뢰할 수 있는 방법으로 삼기 위해.
• 재계산 가능한 실험을 호스팅하고 접근할 수 있는 지속 가능한 인프라(도구 및 저장소)를 구축하기 위해.

제안 방법

• 계산 실험을 완전한 가상 머신(VM)과 함께 호스팅해야 하며, 이는 원래 실행 환경을 정확히 재현해야 한다고 제안한다.
• 가상화 기술을 활용해 운영체제, 라이브러리, 런타임 상태 등 모든 시스템 종속성을 봉인해야 한다고 주장한다.
• 저장소가 VM 이미지를 저장하고 유지보수하도록 의무화하여, 향후 실험을 동일하게 다시 실행할 수 있도록 해야 한다.
• 재계산 가능한 실험을 쉽게 생성, 업로드, 검색할 수 있도록 도와주는 도구 및 플랫폼(예: recomputation.org)의 개발을 장려한다.
• 장기적 가용성과 재사용을 보장하기 위해 VM 및 관련 도구를 오픈소스 라이선스 하에 공개 접근을 장려한다.
• 원래 실행 환경을 정확히 보존함으로써 가상 머신을 재계산 가능성의 골드 스탠다드로 위치지운다. 이는 비공개 소스 실험에도 적용된다.

실험 결과

연구 질문

• RQ1 원래 실행 이후 수십 년이 지난 후에도 계산 실험을 정확히 재계산할 수 있도록 보장하는 데 가장 신뢰할 수 있는 방법은 무엇인가?
• RQ2 왜 소스 코드 공개만으로는 계산 실험의 의미 있는 재현 가능성을 보장할 수 없는가?
• RQ3 과학 공동체는 어떻게 장기적으로 실험 재계산 관행을 표준화하고 제도화할 수 있는가?
• RQ4 소프트웨어의 버전 제어 수준에서 재계산 가능성을 얼마나 쉽게 접근 가능하게 만들 수 있는가?
• RQ5 가상 머신 형태로 계산 실험을 장기적으로 보존하는 데 있어 장기적인 기술적 및 경제적 타당성 고려사항은 무엇인가?

주요 결과

• 계산 실험의 재계산 가능성을 보장하는 유일한 방법은 원래 검증된 정확한 가상 머신 환경을 유지보수하는 것이다.
• 소스 코드가 공개되어 있더라도 시간이 지남에 따라 시스템 라이브러리, 컴파일러, 운영체제의 변화로 인해 실험이 빌드되거나 실행되지 않는 경우가 흔하다.
• 가상 머신은 환경의 변동성을 제거하고, 다양한 하드웨어와 시간대에 걸쳐 결정론적이고 반복 가능한 실행을 보장한다.
• 데이터 및 VM 저장 비용은 기하급수적으로 감소하고 있어, 실험의 장기적 보존이 경제적으로 가능해지고 있다.
• Sumatra, CDE, Burrito와 같은 도구들은 초기 성과를 보였지만, 재계산 가능한 실험을 위한 전용 생태계는 아직 부족한 상태이다.
• 지난 5년 간의 모든 실험을 매년 재계산하는 데에는 신규 CPU 자원의 10%만으로도 충분하며, 이는 대규모 재계산의 실용성을 보여준다.