[論文レビュー] Best Practices for Scientific Research on Neural Architecture Search

Marius Lindauer, Frank Hutter|arXiv (Cornell University)|Sep 5, 2019

Machine Learning and Data Classification参考文献 53被引用数 90

ひとこと要約

本論文は、再現性の向上、公正な評価、ニューラルアーキテクチャ探索（NAS）研究の進展を目的とした包括的なベストプラクティスのセットを提案します。コード公開、ベンチマーク、アブレーション、標準化された報告を含む。

ABSTRACT

Finding a well-performing architecture is often tedious for both DL practitioners and researchers, leading to tremendous interest in the automation of this task by means of neural architecture search (NAS). Although the community has made major strides in developing better NAS methods, the quality of scientific empirical evaluations in the young field of NAS is still lacking behind that of other areas of machine learning. To address this issue, we describe a set of possible issues and ways to avoid them, leading to the NAS best practices checklist available at http://automl.org/nas_checklist.pdf.

研究の動機と目的

• NAS実験における再現性と透明性の促進。
• NASにおける経験的評価品質を向上させるための記述的チェックリストを提供する。
• 公正な比較のために標準化されたベンチマークとオープンソースツールの利用を奨励する。

提案手法

• 再現性と公正な比較を可能にするため、トレーニングパイプラインとNAS手法コードの公開を推奨する。
• 比較可能な結果を保証するために、NASベンチマーク（データセット、探索空間、トレーニングパイプライン）の利用を推奨する。
• NAS手法の各コンポーネントの寄与を孤立させるアブレーション研究の実施を提案する。
• 計算リソースの関数としてパフォーマンスを報告し、結果を文脈づけることを提案する。
• 単純なベースライン（ランダムサンプリングとランダムサーチ）や複数のシードとの比較を推奨し、確率的性を評価する。
• 全実験がリソース的に prohibitive な場合には、表形式/代理ベンチマークを推奨し、大規模で再現可能な評価を可能にする。）

実験結果

リサーチクエスチョン

• RQ1 研究者やデータセットを跨いで再現性を確保するために、NAS実験はどのように実施すべきか？
• RQ2 NAS手法の公正な比較を最も効果的に支援するベンチマークと報告基準は何か？
• RQ3 堅牢なNAS評価のために必要なベースライン比較と実験手法（例：アブレーション、複数のシード）は何か？
• RQ4 ベンチマークとオープンソースツールはNAS研究における混乱因子をどう低減できるか？

主な発見

• NAS手法間の意味のある比較を促進するために、コードとトレーニングパイプラインを公開すべきである。
• NASベンチマークは、データセット、探索空間、トレーニングパイプラインを、実行可能なコードとともに定義して、公正な評価を可能にすべきである。
• アブレーション研究は、どのコンポーネントがNASの性能を牽引しているのかを理解するために不可欠である。
• パフォーマンスは計算リソースの関数として報告し、エンドツーエンドのコストを考慮するべきである。
• 比較には、ランダムサンプリングやランダムサーチなどの単純なベースラインと、頑健性のための複数のシードを含めるべきである。
• 全実験がリソース過多で実行不可能な場合には、表形式または代理ベンチマークを奨励し、スケーラブルで再現可能な研究を可能にする。）