[論文レビュー] Representation Based Complexity Measures for Predicting Generalization in Deep Learning

Parth Natekar, Manik Sharma|arXiv (Cornell University)|Dec 4, 2020

Advanced Neural Network Applications参考文献 25被引用数 16

ひとこと要約

本論文は、深層ニューラルネットワークの表現の質—具体的には一貫性、耐性、分離性—に基づく後処理の複雑さの指標を提案し、一般化性能を予測する。一貫性にはDavies-Bouldin指数、耐性にはラベル単位のMixupに基づく測定、分離性にはマージン分布を用い、著者らはNeurIPS 2020における深層学習の一般化コンペティションで最先端の性能を達成した。計算コストを最小限に抑えつつ、多様なアーキテクチャやハイパーパrameterに対して高い予測能力を示した。

ABSTRACT

Deep Neural Networks can generalize despite being significantly overparametrized. Recent research has tried to examine this phenomenon from various view points and to provide bounds on the generalization error or measures predictive of the generalization gap based on these viewpoints, such as norm-based, PAC-Bayes based, and margin-based analysis. In this work, we provide an interpretation of generalization from the perspective of quality of internal representations of deep neural networks, based on neuroscientific theories of how the human visual system creates invariant and untangled object representations. Instead of providing theoretical bounds, we demonstrate practical complexity measures which can be computed ad-hoc to uncover generalization behaviour in deep models. We also provide a detailed description of our solution that won the NeurIPS competition on Predicting Generalization in Deep Learning held at NeurIPS 2020. An implementation of our solution is available at https://github.com/parthnatekar/pgdl.

研究の動機と目的

• 過パラメータ化された深層ニューラルネットワークにおける一般化を予測する実用的で後処理可能な指標の不足に対処すること。
• 人間の視覚的表現における不変性と分離性の神経科学的理論と、深層学習の一般化の間のギャップを埋めること。
• アーキテクチャーやハイパーパrameterの変化に対して頑健であり、直感的で計算効率の良い複雑さの指標を開発すること。
• 現実のベンチマークにおいて、既存の理論的・実験的境界を上回る一般化ギャップの予測を行うこと。

提案手法

• 内部層の活性化におけるクラスタ内凝集性とクラスタ間分離性を測定するDavies-Bouldin指数を用いて、表現の一貫性を測定する。
• 特徴量とラベルを補間するラベル単位のMixup技術を用いて耐性を評価し、外部のデータ摂動を用いずに表現の不変性を調べる。
• 予測スコアと真のクラススコアの間のマージン分布を用いて分離性を評価し、摂動を加えたバージョンを用いることで表現力を向上させる。
• スケール不変性を持つ指標（DB指数とラベル単位のMixup）を組み合わせ、積のスコアとして統合し、一般化予測の精度を向上させる。
• 計算効率を確保するため、推定に訓練データの1%のみを用いて、NeurIPS 2020コンペティションのデータに対してアプローチを検証する。
• データとアーキテクチャの知識に基づいて設計選択を最適化し、公開および非公開のテストセットの両方で高いスコアを達成する。

実験結果

リサーチクエスチョン

• RQ1 一貫性、耐性、分離性という表現の質の指標—具体的にはそれら—は、多様なアーキテクチャーやハイパーパrameterに対して、深層ニューラルネットワークの一般化を予測できるか？
• RQ2 人間の視覚系における不変で分離可能な表現の神経科学的原則は、深層学習の一般化とどのように関連しているか？
• RQ3 訓練のハイパーパrameterにアクセスできない実務家にとっても直感的で効果的な後処理の複雑さの指標を設計できるか？
• RQ4 絶対的指標（スペクトルノルムや鋭さなど）と比較して、スケール不変で相対的な指標は一般化予測においてどれほど優れているか？
• RQ5 たとえば1%程度の訓練データのサブセットで、表現ベースの複雑さの指標を用いて一般化性能を推定することが十分に可能か？

主な発見

• 提案された複雑さの指標、特にDavies-Bouldin指数とラベル単位のMixupの積が、NeurIPS 2020における「深層学習の一般化予測」の最終タスクで最高スコアを達成した。
• 一貫性、耐性、分離性という表現の質に基づく指標は、多様なモデルアーキテクチャーやハイパーパrameterに対して一般化ギャップを予測可能であった。
• 訓練データの1%のみを用いても、一般化性能の推定が信頼的に可能であり、高い計算効率を示した。
• ラベル単位のMixupのバリエーションは、表現の耐性と不変性を調べるうえで有効であり、標準的なMixupを上回る診断的有用性を示した。
• 摂動を加えたマージン分布は、標準的なマージン単体よりも一般化行動を捉えるのにより表現力に富んでいた。
• CIFAR-10およびSVHNデータセットにおいて、スペクトルノルムや鋭さといったベースライン指標よりも、より良い相互情報量スコアを達成した。