[論文レビュー] Towards a Statistical Methodology to Evaluate Program Speedups and their Optimisation Techniques

Sid Touati|ArXiv.org|Feb 6, 2009

Software Reliability and Analysis Research参考文献 1被引用数 3

ひとこと要約

この論文は、再現性危機に対処するために、信頼区間と仮説検定を用いた統計的手法を提案し、プログラムの高速化と最適化手法の評価を行う。再現性のある結果を得るためには、信頼水準の報告と代表的なベンチマークセットの使用が不可欠であると強調している。

ABSTRACT

The community of program optimisation and analysis, code performance evaluation, parallelisation and optimising compilation has published since many decades hundreds of research and engineering articles in major conferences and journals. These articles study efficient algorithms, strategies and techniques to accelerate programs execution times, or optimise other performance metrics (MIPS, code size, energy/power, MFLOPS, etc.). Many speedups are published, but nobody is able to reproduce them exactly. The non-reproducibility of our research results is a dark point of the art, and we cannot be qualified as {\it computer scientists} if we do not provide rigorous experimental methodology. This article provides a first effort towards a correct statistical protocol for analysing and measuring speedups. As we will see, some common mistakes are done by the community inside published articles, explaining part of the non-reproducibility of the results. Our current article is not sufficient by its own to deliver a complete experimental methodology, further efforts must be done by the community to decide about a common protocol for our future experiences. Anyway, our community should take care about the aspect of reproducibility of the results in the future.

研究の動機と目的

• コンピュータサイエンス分野におけるプログラムパフォーマンス評価結果の広範な再現不能性を是正すること。
• プログラム実行における高速化および最適化手法の評価に、きめ細やかな統計的プロトコルを確立すること。
• 再現性を損なう、公表済みのパフォーマンス評価における一般的な統計的誤りを浮き彫りにすること。
• パフォーマンス研究において、信頼水準と実験詳細の開示を義務づけることで透明性を高めること。
• 今後の研究において、標準化され、統計的に妥当な実験的手法をコミュニティが採用するよう促すこと。

提案手法

• ベンチマーク全体にわたる高速化測定の信頼性を定量化するために、母比率の信頼区間を用いる。
• 元のプログラムと最適化済みプログラムの平均実行時間の比較に、スチューデントのt検定およびz検定を適用する。
• 所望の精度を達成するための最小ベンチマーク数を求めるための式 $ n \geq z^2 \times \frac{C(1-C)}{r^2} $ を使用する。
• アプリケーションの文脈（例：ハードリアルタイム vs デスクトップ）に応じて、統計的主張に90%または95%の信頼水準を使用することを推奨する。
• 環境、入力データ、設定などのすべての実験詳細の報告が、再現性を実現するために重要であることを強調する。
• 正確な再現を可能にするために、形式的なアルゴリズム記述とオープンソースソフトウェアの活用を提唱する。

実験結果

リサーチクエスチョン

• RQ1 なぜ、きめ細やかな実験的主張を伴っても、公表済みのプログラム高速化結果はしばしば再現できないのか？
• RQ2 統計的手法をどのように用いることで、報告されたプログラム高速化の信頼性と信頼度を定量化できるか？
• RQ3 所望の精度を達成するためには、最小で何個のベンチマークが必要か？
• RQ4 ハードウェアおよびシステム要因に起因する実行時間のばらつきが、パフォーマンス測定の妥当性にどのように影響するか？
• RQ5 パフォーマンス評価においてどの信頼水準を使用すべきか、そしてそれが異なるアプリケーション分野でどのように異なるか？

主な発見

• 17/30（56.67%）の高速化割合に対する90%信頼区間は40.27%から71.87%にわたり、30個のベンチマークでのみ測定されているため、高い不確実性が示されている。
• 95%の信頼水準で5%の誤差幅を達成するには、加速されたプログラムの真の割合を推定するために、少なくとも378個のベンチマークが必要である。
• 低サンプルサイズ（例：n.C < 10）では、標準的な信頼区間の計算が無効となり、より複雑な統計的手法を要する。
• 同じハードウェアおよびソフトウェア環境下でも、キャッシュ効果、割り込み、動的電圧スケーリングなどの要因により、実行時間に顕著なばらつきが生じる。
• 多くの公表済みの結果は、まれな出来事象やバイアスのかかった測定に基づいており、統計的に驚くべきものであり、再現が困難である。
• 信頼水準は論文で明示的に宣言すべきであり、安全性が求められる応用分野（例：ハードリアルタイムシステム）では、より高い水準（例：95%）が求められる。