[論文レビュー] Predicting Deep Neural Network Generalization with Perturbation Response Curves

Yair Schiff, Brian Quanz+2 more|arXiv (Cornell University)|Jun 9, 2021

Neural Networks and Applications被引用数 4

ひとこと要約

この論文は、訓練データへの摂動を段階的に増加させた際の精度の変化を追跡する「摂動応答（PR）曲線」を用いて、深層ニューラルネットワークの一般化を予測する新規フレームワークを提案する。PR曲線に基づき、収入格差の指標にインspiredされた2つの新規指標、GiスコアとPalスコアを導入し、PGDLコンペティションにおける複数のタスクで最先端の性能を達成した。また、回転、平行移動、色のノイズなど特定の入力変換に対するモデルの不変性の評価にも対応している。

ABSTRACT

The field of Deep Learning is rich with empirical evidence of human-like performance on a variety of prediction tasks. However, despite these successes, the recent Predicting Generalization in Deep Learning (PGDL) NeurIPS 2020 competition suggests that there is a need for more robust and efficient measures of network generalization. In this work, we propose a new framework for evaluating the generalization capabilities of trained networks. We use perturbation response (PR) curves that capture the accuracy change of a given network as a function of varying levels of training sample perturbation. From these PR curves, we derive novel statistics that capture generalization capability. Specifically, we introduce two new measures for accurately predicting generalization gaps: the Gi-score and Pal-score, which are inspired by the Gini coefficient and Palma ratio (measures of income inequality), that accurately predict generalization gaps. Using our framework applied to intra and inter-class sample mixup, we attain better predictive scores than the current state-of-the-art measures on a majority of tasks in the PGDL competition. In addition, we show that our framework and the proposed statistics can be used to capture to what extent a trained network is invariant to a given parametric input transformation, such as rotation or translation. Therefore, these generalization gap prediction statistics also provide a useful means for selecting optimal network architectures and hyperparameters that are invariant to a certain perturbation.

研究の動機と目的

• トレーニング後に適用可能な、効率的で後処理可能な、深層ニューラルネットワークの一般化ギャップを予測する指標の不足に対処すること。
• 訓練済みモデルがさまざまなレベルのデータ摂動に対してどれほど頑健に一般化するかを定量化するフレームワークを開発すること。
• 回転、平行移動、色の変更などの特定の入力変換に対するモデルの不変性の評価を可能にすること。
• 既存の複雑さの指標を上回る解釈可能で頑健な統計量を提供し、一般化ギャップの予測性能を向上させること。
• 特定の摂動に対して不変性を高めるアーキテクチャやハイパーパrameterの選択を支援すること。

提案手法

• Mixup、回転、平行移動など、異なる種類の摂動に対して、複数の摂動強度で訓練データを摂動させ、モデルの精度を評価することで、摂動応答（PR）曲線を構築する。
• Giスコアを、PR曲線と理想の曲線との間の面積として定義し、摂動に対する感受性を反映する。
• Palスコアを、最高性能を示した摂動レベルの精度を平均精度で割った比として定義し、ピーク時の頑健性を捉える。
• 負のPalスコアとGiスコアの合計を複合指標として用い、値が大きいほど一般化性能が優れていると順位付けする。
• クラス内およびクラス間のMixup、および回転や平行移動などの幾何変換に対して、不変性を評価するためにフレームワークを適用する。
• CIFAR-10、SVHN、その他のベンチマークで、さまざまな増幅手法やハイパーパrameterを用いてモデルを学習させ、予測力の評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 複数の摂動強度から得られるPR曲線は、単一の評価点に依存する手法よりも、モデルの一般化をより頑健かつ情報豊かに測定できるか？
• RQ2 提案されたGiスコアとPalスコアは、既存の最先端の複雑さの指標と比較して、一般化ギャップをどれほど正確に予測できるか？
• RQ3 このフレームワークは、回転や平行移動といった特定のパrametricなデータ変換に対するモデルの不変性をどの程度正確に定量化できるか？
• RQ4 このフレームワークは、望ましい摂動に対して不変性を高める最適なアーキテクチャやハイパーパrameterの選択を支援できるか？
• RQ5 複合指標Gi + (-Pal) スコアは、多様なデータセットやモデルアーキテクチャにおいて、個々の指標やベースラインを一貫して上回る性能を示すか？

主な発見

• GiスコアとPalスコアの組み合わせは、PGDLコンペティションの大多数のタスクで、現在の最先端の手法を上回る一般化ギャップ予測スコアを達成した。
• 単一の補間強度に依存するのではなく、摂動応答の全範囲を捉えることで、ベースライン手法、さらにはPGDLコンペティションの優勝提出物をも上回った。
• CINIC-10データセットでは、Gi-intraℓ0 と Pal-intraℓ0 の組み合わせが22.60の複合スコアを達成し、全指標の中で最高順位を記録した。
• フレームワークは幾何変換（例：CIFAR-10における回転）に対するモデルの不変性を適切に捉えた。視覚化では、Gi-intraℓ0 と Pal-intraℓ0 の指標が一般化ギャップと強い相関（ピアソン相関係数R > 0.8）を示した。
• CMIスコア分析により、提案された指標がハイパーパrameterの情報だけでは説明できない、独立で情報豊かな予測能力を有していることが確認された。
• VGG、NiN、ResNetなど多様なアーキテクチャおよびCIFAR-10、SVHN、Fashion-MNISTなど多様なデータタイプにおいて、フレームワークは一貫してベースラインを上回る一般化予測性能を示した。