[論文レビュー] NeurIPS 2020 Competition: Predicting Generalization in Deep Learning

Yiding Jiang, Pierre Foret+8 more|arXiv (Cornell University)|Dec 14, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用数 22

ひとこと要約

NeurIPS 2020 のコンペティションでは、深層学習の一般化性能を予測するための複雑度測度の開発を研究者に求めている。参加者はトレーニング済みモデルからスカラー得点を計算するコードを提出し、評価は中央で処理されるため、理論的および実験的一般化予測子の公平で再現可能なベンチマーク評価が可能となり、大規模なトレーニングやインfraの整備が不要になる。

ABSTRACT

Understanding generalization in deep learning is arguably one of the most important questions in deep learning. Deep learning has been successfully adopted to a large number of problems ranging from pattern recognition to complex decision making, but many recent researchers have raised many concerns about deep learning, among which the most important is generalization. Despite numerous attempts, conventional statistical learning approaches have yet been able to provide a satisfactory explanation on why deep learning works. A recent line of works aims to address the problem by trying to predict the generalization performance through complexity measures. In this competition, we invite the community to propose complexity measures that can accurately predict generalization of models. A robust and general complexity measure would potentially lead to a better understanding of deep learning's underlying mechanism and behavior of deep models on unseen data, or shed light on better generalization bounds. All these outcomes will be important for making deep learning more robust and reliable.

研究の動機と目的

• 深層ニューラルネットワークにおける一般化を予測する複雑度測度を評価するための標準的でアクセスしやすいプラットフォームを構築すること。
• 参加者がモデルをトレーニングする必要や計算リソースを管理する必要がないことで、理論的一般化仮説の検証の障壁を低減すること。
• 幅広いアーキテクチャーやハイパーパrameterに対して、多様な複雑度測度を直接的かつ公平に比較可能にする。
• 迅速なフィードバックループを通じて、深層学習一般化の理論的基盤に関する研究を加速すること。
• より強固で信頼性が高く、効率的な深層学習モデルの開発を支援し、一般化保証を強化すること。

提案手法

• 参加者は、TensorFlow 2.x を使用したトレーニング済み Keras モデルとそのトレーニングデータを入力とし、単一の実数スコアを出力するコードを提出する。
• 評価フレームワークは、多様なアーキテクチャーやハイパーパrameterをカバーする、完全にトレーニングされたモデルの多数から成る、キュレートされた大規模データセット上でコードを実行する。
• すべてのモデルは、トレーニング収束による一般化ギャップの混同要因を排除するため、ほぼ完璧なトレーニング精度（補間領域）にまでトレーニングされる。
• フレームワークは各モデルの一般化ギャップ（テスト精度からトレーニング精度を引いた値）を計算し、評価の基準となる真値として用いる。
• スコアは、相関係数（例：スピアマンの rho）を用いて真の一般化ギャップと照合され、予測性能が評価される。
• パブリックリーダーボードは毎日更新され、リアルタイムでのフィードバックと複雑度測度の反復的改善を可能にする。

実験結果

リサーチクエスチョン

• RQ1 多様なアーキテクチャーやハイパーパラメータにわたって、深層ニューラルネットワークの一般化ギャップを最も正確に予測する複雑度測度は何か？
• RQ2 統一的でアクセスしやすい評価フレームワークは、大規模なトレーニングを要しないで一般化理論の検証に広くコミュニティが参加できるようになるか？
• RQ3 事前に定義された理論的複雑度測度（例：鋭さ、ノルムベースの境界）は、制御された大規模な条件下で実際にはどれほど性能を発揮するか？
• RQ4 形式的統計的学習理論に基づかない実用的で実験的に有効な複雑度測度は、発見可能か？
• RQ5 複雑度測度は、深層学習モデルにおける共変量シフトやアーキテクチャ変化に対してどれほど頑健性を保つのか？

主な発見

• コンペティションのフレームワークは、複雑度測度の開発とモデルトレーニングを分離することに成功し、研究者が測度設計に集中できるようになった。
• 毎日更新されるパブリックリーダーボードにより、リアルタイムでのフィードバックが得られ、提案された測度の反復的改善が加速した。
• 評価インfraは、参加者間の計算環境の差によるバイアスを排除し、すべての提出物に対して公平で透明な比較を保証した。
• コンペティションは、多くの従来の複雑度測度が制御された大規模評価条件下で、劣った性能を示すことを明らかにした。これは、事前に懸念されていた混同要因の存在を裏付けた。
• フレームワークにより、中央集権的な評価がなければ検証が困難だった、新たな実験的に有効な複雑度測度の発見が可能になった。
• 結果から、深層学習一般化の理論的理解を進めるために、標準化されたベンチマークの重要性が強調された。