[論文レビュー] In Search of Robust Measures of Generalization

Gintare Karolina Dziugaite, Alexandre Drouin+6 more|arXiv (Cornell University)|Oct 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 4

ひとこと要約

本稿では、深層学習における一般化測度の評価のための分布的ロバストネスフレームワークを提案する。先行研究（例：[9]）における平均的性能は、重要な失敗を隠すことがあると主張する。データ分布、アーキテクチャ、ハイパーパrameterにわたる最悪の環境に注目することで、パスノルムおよびPAC-Bayesフラットネス測度がよりロバストであるのに対し、スペクトル測度は幅と深さの変化において一貫して失敗することが明らかになった。

ABSTRACT

One of the principal scientific challenges in deep learning is explaining generalization, i.e., why the particular way the community now trains networks to achieve small training error also leads to small error on held-out data from the same population. It is widely appreciated that some worst-case theories -- such as those based on the VC dimension of the class of predictors induced by modern neural network architectures -- are unable to explain empirical performance. A large volume of work aims to close this gap, primarily by developing bounds on generalization error, optimization error, and excess risk. When evaluated empirically, however, most of these bounds are numerically vacuous. Focusing on generalization bounds, this work addresses the question of how to evaluate such bounds empirically. Jiang et al. (2020) recently described a large-scale empirical study aimed at uncovering potential causal relationships between bounds/measures and generalization. Building on their study, we highlight where their proposed methods can obscure failures and successes of generalization measures in explaining generalization. We argue that generalization measures should instead be evaluated within the framework of distributional robustness.

研究の動機と目的

• 深層学習における一般化境界の系統的でロバストな評価手法の欠如に取り組むこと。
• 先行の大規模研究（例：[9]）で用いられる平均的評価フレームワークの批判を行うこと。このフレームワークは、一般化測度の失敗を隠す可能性がある。
• 特定の環境での失敗を特定するのではなく、それらを平均化するのではなく、環境の系列全体における最悪ケース性能に基づいて一般化測度の強さを評価する分布的ロバストネスフレームワークを提唱すること。
• 多様なモデルおよびデータ設定における最悪ケース性能に注目することで、一般化理論の実験的評価を改善すること。
• ロバスト回帰および標的的な干渉を用いて、将来的なより信頼性の高い、理論に基づいた一般化測度の開発を支援すること。

提案手法

• 一般化測度の強さを、環境の系列全体における最悪ケース性能によって評価する分布的ロバストネスフレームワークを採用する。
• データ分布（CIFAR-10、SVHN）、モデルアーキテクチャ、トレーニングセットサイズ、ハイパーパrameter（深さ、幅、学習率）に基づいて環境の系列を定義する。
• 最悪ケースの偏差に注目するため、ハイパーパrameterと一般化ギャップの関係をモデル化するためのロバスト回帰技術（付録Bより）を用いる。
• 信頼性の高い符号誤差推定を確保するため、モンテカルロノイズが高い環境をフィルタリングする。
• 一般化測度（例：パスノルム、スペクトルノルム、PAC-Bayesフラットネス）を、環境のサブファミリーごとに比較し、故障モードを特定する。
• 符号誤差分析を用いて、測度がランダムな確率よりも一般化ギャップをどれだけよく予測できるかを評価する。特に最悪ケースサブファミリーに注目する。

実験結果

リサーチクエスチョン

• RQ1 先行研究における平均的性能指標は、多様なモデルおよびデータ設定において一般化測度の重要な失敗を隠すことがあるか？
• RQ2 アーキテクチャ、データ、ハイパーパrameterによって定義される環境の系列全体において、異なる一般化測度は最悪ケース条件下でどのように性能を発揮するか？
• RQ3 ネットワークの深さ、幅、学習率の変更といった多様な干渉に対して、どの一般化測度がロバスト性を示すか？
• RQ4 既存の理論的境界は、一般化誤差がトレーニングセットサイズにどのように依存するかを正しく捉えられていない程度はどの程度か？
• RQ5 最悪ケース性能に基づくロバストな評価フレームワークは、信頼性の高い一般化測度の同定を改善できるか？

主な発見

• 先行研究[9]における一般化測度の平均的性能は、モンテカルロノイズが高いために8.2%の幅の環境が除外されたという事実から、重要な失敗を隠している可能性があることが示された。
• パスノルムおよびPAC-Bayesフラットネスに基づく測度は、特にCIFAR-10の「深さ」と「幅」サブファミリーにおいて、最悪ケース環境で他を常に上回った。
• 『prod.of.spec』などのスペクトル測度は、すべての環境で低性能を示し、特に幅と深さの変化において顕著に劣化した。これは根本的なロバストネスの欠如を示している。
• 本研究では、多くの既存の境界がトレーニングセットサイズとともに増大していることが判明したが、これは一般化誤差がデータ量が増えると減少するという経験的事実と矛盾している。
• 提案されたロバストな評価フレームワークにより、CIFAR-10の「深さ」環境において、最悪ケース条件下でどの測度もランダムな確率を著しく上回らないことが明らかになった。
• 著者らは、ハイパーパrameterの範囲の違いおよび[9]におけるドロップアウトの使用が、結論の相違を引き起こしていることを特定した。これは、実験設計の感度に起因する結果の変動を示している。