[論文レビュー] Robustness to Augmentations as a Generalization metric

Sumukh Aithal K, Dhruva Kashyap+1 more|arXiv (Cornell University)|Jan 16, 2021

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 7

ひとこと要約

本論文は、データオーグメンテーションに対するモデルのロバスト性に基づいて、深層学習モデルの一般化性能を測る一般化指標を提案する。入力の摂動に対してロバストなモデルは、一般化性能が優れていると主張する。この指標は、補正された入力での誤分類に対してペナルティを課し、弱いオーグメンテーションに対しては高いペナルティを課す。この手法は「Deep Learningにおける一般化の予測」コンペティションで2位を獲得し、CIFAR-10およびSVHNデータセットにおいて強力な予測性能を示した。

ABSTRACT

Generalization is the ability of a model to predict on unseen domains and is a fundamental task in machine learning. Several generalization bounds, both theoretical and empirical have been proposed but they do not provide tight bounds .In this work, we propose a simple yet effective method to predict the generalization performance of a model by using the concept that models that are robust to augmentations are more generalizable than those which are not. We experiment with several augmentations and composition of augmentations to check the generalization capacity of a model. We also provide a detailed motivation behind the proposed method. The proposed generalization metric is calculated based on the change in the output of the model after augmenting the input. The proposed method was the first runner up solution for the NeurIPS competition on Predicting Generalization in Deep Learning.

研究の動機と目的

• 深層学習におけるモデル一般化の予測という課題に取り組むこと。既存の指標はしばしば性能を過大評価する傾向がある。
• 実験的根拠に基づいた実用的で、実際の一般化能力と強く相関する一般化指標を開発すること。
• データオーグメンテーションに対するロバスト性が、一般化能力の信頼できる代理指標であるかどうかを調査すること。
• 個々のオーグメンテーションおよびその組み合わせが、モデル一般化の測定に与える影響を評価すること。
• さまざまなアーキテクチャや学習手法に適用可能な、シンプルだが効果的な指標を提供すること。

提案手法

• 本手法は、各訓練サンプルについて、元の入力とオーグメントされた入力を用いてモデルの予測を評価することで、一般化指標 ϕ を計算する。
• 各入力 x に対して、モデルは y = arg max Pθ(y|x) を予測し、同様にオーグメントされた入力 x′ に対しても予測を行う。
• 予測クラスが変化しない場合、信頼度スコアの差分に基づいてペナルティを蓄積する：|max Pθ(y|x) − Pθ(y|x′)|。
• 予測クラスが変化する場合、固定されたペナルティ λ が適用され、弱いオーグメンテーション（例：フリップ）に対しては高い λ、強いオーグメンテーション（例：ソーベルフィルタ）に対しては低い λ を使用する。
• 各オーグメンテーションタイプ（例：フリップ + サチュレーションの組み合わせなど）に対して、ペナルティ λ は経験的に調整される。
• 最終的な指標は、すべての訓練サンプルにおけるペナルティの合計であり、より低い（より負の）スコアは一般化性能が劣っていることを示す。

実験結果

リサーチクエスチョン

• RQ1 データオーグメンテーションに対するロバスト性は、深層ニューラルネットワークにおけるモデル一般化の信頼できる代理指標として機能するか？
• RQ2 弱いオーグメンテーション（例：フリップ）と強いオーグメンテーション（例：ソーベルフィルタ）の違いが、一般化指標の予測力に与える影響は何か？
• RQ3 複数のオーグメンテーションを組み合わせることで、一般化性能の予測能力が向上するか？
• RQ4 異なるオーグメンテーションタイプに設定されたペナルティ重み λ が、未知のデータに対する指標の性能に与える影響は何か？
• RQ5 この指標は、既存の複雑さに基づく一般化境界を実際に上回ることができるか？

主な発見

• 提案された指標は、コンペティションの公開スコアで41.8、プライベートスコアで10.6を記録し、2番目の最良のソリューションとしてランクされた。
• 特にフリップ + サチュレーションの組み合わせ（λ = 12）が最高のパフォーマンスを示し、相乗効果があることを示唆した。
• 弱いオーグメンテーション（例：フリップ、λ = 6）に対して高いペナルティを課す方が、強いオーグメンテーション（例：ソーベルフィルタ、λ = 3）に対して高いペナルティを課すよりも効果的であった。これは、形状を保つ変化に対する感受性が一般化を示す上でより重要であることを示唆している。
• 仮想アドバーシャル摂動（λv = 3）を用いることでパフォーマンスが向上した。これは、局所的摂動に対してのロバスト性が、一般化の強力な信号であることを示している。
• カットアウトオーグメンテーション（λ = 2）は正の影響を示したが、やや弱く、ランダムイリージング（λ = 0）は影響を示さなかった。これは、後者があまり一般化の良い指標ではない可能性を示唆している。
• CIFAR-10およびSVHNデータセットにおいて、多様なモデルアーキテクチャとハイパーパrameterを用いて検証されたが、実際の一般化性能と強い相関を示した。