[論文レビュー] On the Benefits of Invariance in Neural Networks

Clare Lyle, Mark van der Wilk+3 more|arXiv (Cornell University)|May 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 17

ひとこと要約

この論文は、深層学習における不変性を誘導するための広く用いられる2つの手法、データ拡張と特徴量平均化の理論的分析を行い、特に凸損失関数下で、特徴量平均化がデータ拡張よりも一般化性能が高く、リスクの分散が低く、PAC-Bayes境界がきついことを示している。著者らは、特徴量平均化がモデルの複雑さを低減し、モンテカルロサンプルを用いた近似でさえも一般化保証を向上させることを証明している。

ABSTRACT

Many real world data analysis problems exhibit invariant structure, and models that take advantage of this structure have shown impressive empirical performance, particularly in deep learning. While the literature contains a variety of methods to incorporate invariance into models, theoretical understanding is poor and there is no way to assess when one method should be preferred over another. In this work, we analyze the benefits and limitations of two widely used approaches in deep learning in the presence of invariance: data augmentation and feature averaging. We prove that training with data augmentation leads to better estimates of risk and gradients thereof, and we provide a PAC-Bayes generalization bound for models trained with data augmentation. We also show that compared to data augmentation, feature averaging reduces generalization error when used with convex losses, and tightens PAC-Bayes bounds. We provide empirical support of these theoretical results, including a demonstration of why generalization may not improve by training with data augmentation: the `learned invariance' fails outside of the training distribution.

研究の動機と目的

• 不変性の下での深層学習におけるデータ拡張と特徴量平均化の理論的利点と限界を理解すること。
• データ拡張と特徴量平均化の間で、一般化性能とリスク推定の質を比較すること。
• これらの不変性エンコード手法で訓練されたモデルに対する理論的保証（特にPAC-Bayes境界）を導出すること。
• 不変性手法が訓練分布を超えて一般化できない場合の原因と条件を調査すること。
• 実世界の応用において、データ拡張と特徴量平均化の間で選択するための実用的ガイドラインを提供すること。

提案手法

• 回転や置換などの変換をモデル化するための群作用 G を用いた、群不変性の下でのリスク、勾配分散、一般化境界の理論的分析。
• データ拡張に対するPAC-Bayes一般化境界の導出。独立同分布（i.i.d.）仮定の違反にもかかわらず適用可能であることを示している。
• 凸損失関数下で、特徴量平均化が期待リスクを低くし、リスク推定の分散を低減することの証明。
• 群軌道上の平均化による対称化モデルクラスの導入。これによりモデルエントロピーが低下し、PAC-Bayes境界がタイトになる。
• モンテカルロ近似を用いて特徴量平均化とデータ拡張をシミュレートし、理論的主張の実証的検証を可能にした。
• 異なる不変性スキーム下でのPAC-Bayes境界を計算するための確率的ニューラルネットワークを用いた、FashionMNIST および ModelNet10 における実験的評価。

実験結果

リサーチクエスチョン

• RQ1 データ拡張は標準的な学習に比べて一般化性能を向上させるのか？ どのような条件下で？
• RQ2 リスク推定の分散と一般化誤差の観点から、特徴量平均化はデータ拡張に比べてどのように異なるか？
• RQ3 非i.i.d.データであるにもかかわらず、PAC-Bayes境界はデータ拡張で訓練されたモデルに意味的に適用可能か？
• RQ4 不変性が学習されたとしても、なぜデータ拡張で訓練されたモデルが訓練分布外で一般化に失敗する可能性があるのか？
• RQ5 データ拡張で訓練されたモデルに対しても、推論時に特徴量平均化を適用することで一般化性能が向上するのか？

主な発見

• 特徴量平均化は、特に凸損失関数下で、データ拡張よりもリスク推定と勾配推定の分散をより効果的に低減する。
• 特徴量平均化モデルの期待リスクは、非平均化モデルのそれより悪くない。凸損失関数下では、しばしば厳密に低い。
• モンテカルロサンプルによる近似でさえも、特徴量平均化はKLダイバージェンス項を低減することでPAC-Bayes一般化境界をタイトにする。
• データ拡張は標準学習に比べてリスク分散を低減するが、不変性を保証するものではなく、学習された不変性が訓練分布外で成り立たない場合には一般化に失敗する可能性がある。
• FashionMNIST および ModelNet10 における実験結果は、不変アーキテクチャが非不変モデルよりもタイトなPAC-Bayes境界とより良い一般化性能を達成することを確認している。
• データ拡張で訓練されたモデルでさえ、推論時に変換の予測を平均化することで一般化性能が向上し、推論時における特徴量平均化の価値を示している。