[論文レビュー] Show Your Work: Improved Reporting of Experimental Results

Jesse Dodge, Suchin Gururangan+3 more|arXiv (Cornell University)|Sep 6, 2019

Topic Modeling参考文献 38被引用数 19

ひとこと要約

本論文は、自然言語処理（NLP）モデルの比較における再現性と公平性を向上させるために、計算リソースの予算を関数として期待される検証性能を報告することを提案する。ハイパーパramータサーチの試行回数ごとに得られる最良性能の期待値を推定することで、モデルの優位性が計算リソースの量に依存すること（例：あるモデルは特定の計算量の閾値を超えると他より優れる）が明らかになり、最終テストスコアに依存するのではなく、より頑健な代替手法が提供される。

ABSTRACT

Research in natural language processing proceeds, in part, by demonstrating that new models achieve superior performance (e.g., accuracy) on held-out test data, compared to previous results. In this paper, we demonstrate that test-set performance scores alone are insufficient for drawing accurate conclusions about which model performs best. We argue for reporting additional details, especially performance on validation data obtained during model development. We present a novel technique for doing so: expected validation performance of the best-found model as a function of computation budget (i.e., the number of hyperparameter search trials or the overall training time). Using our approach, we find multiple recent model comparisons where authors would have reached a different conclusion if they had used more (or less) computation. Our approach also allows us to estimate the amount of computation required to obtain a given accuracy; applying it to several recently published results yields massive variation across papers, from hours to weeks. We conclude with a set of best practices for reporting experimental results which allow for robust future comparisons, and provide code to allow researchers to use our technique.

研究の動機と目的

• 単一のテストセットスコアに依存することによる、NLPモデル比較における再現性と公平性の欠如を是正すること。
• 計算リソースの予算に応じてモデルの性能順位が変化することを強調し、信頼できる結論が裏付けられにくくなることの問題を指摘すること。
• 計算量（例：ハイパーパramータの試行回数）の関数として期待される検証性能を推定する手法を導入すること。
• 研究者がモデルのチューニング作業量やランダムネスへの感受性を真正に反映した結果報告のフレームワークを提供すること。
• 透明性を高めるために、検証性能曲線とリソース予測値の報告を促進し、将来的な比較可能性を向上させること。

提案手法

• 開発段階で収集した実測の検証スコアを用いて、n回のハイパーパramータサーチ試行後に得られる最良モデルの期待性能を推定する。
• 計算リソース予算（n）の増加に伴い、期待される最良性能を曲線としてモデル化し、不確実性を示す信頼区間を含める。
• n ≥ 1回の試行から得られる実測の検証スコアの分布を用いて期待値を計算し、追加の計算を必要としない。
• この手法がブートストラップベースの代替手法と比較して、最良性能の平均と分散の推定誤差が小さいことを実証する。
• 公開済みの結果を再分析して、実際に使用された計算リソース予算を推定し、報告値と実際の作業量の乖離を明らかにする。
• 標準的な報告ワークフローへの統合を可能にするために、オープンソースコード（allentune）を提供する。

実験結果

リサーチクエスチョン

• RQ1 最終テスト精度ではなく、計算リソースの予算を考慮した場合、モデルの性能順位はどのように変化するか？
• RQ2 現在の報告慣行は、報告された結果を達成するために要する真の計算リソース量をどの程度隠蔽しているか？
• RQ3 期待される検証性能曲線は、単一のテストセットスコアに比べて、モデル比較のより信頼性の高い根拠を提供できるか？
• RQ4 報告された性能を達成するために実際に使用された計算リソース予算のばらつきは、公開済みのNLP論文でどの程度顕在化しているか？
• RQ5 ハイパーパラメータサーチのリソース予算を低報または誤報することは、再現性と科学的公平性にどのような影響を及えるか？

主な発見

• モデルの優位性は計算リソースの予算に強く依存する：例えば、5ウェイSSTタスクにおいて、10回のハイパーパラメータ試行しか行わない場合、ロジスティック回帰モデルが畳み込みニューラルネットワーク（CNN）を上回るが、16回以上の試行を経るとCNNが上回る。
• 著者らは、ある公開済みの結果が約18GPU日もの計算を要したと推定したが、これは報告された値よりもはるかに大きく、透明性の欠如が顕著に表れている。
• EMNLP 2018の論文50件をランダムに選定した調査では、報告された推奨事項のすべてを記載した論文は1件もなかった。これは、報告不足が広範にわたることを示している。
• 提案手法は、ブートストラップベースの推定と比較して、期待される最良性能の推定誤差が小さいことを示しており、より正確で効率的な代替手法である。
• 検証性能曲線を用いることで、特定の精度（例：CNNの0.395）に到達するのに必要なリソース量（例：16回の試行）を推定できる。
• 最終テストスコアのみを報告するリーダーボードは、真のチューニング作業量を隠蔽しており、検証性能の報告を組み込むことで透明性と比較可能性が向上すると、著者らは提言する。