[論文レビュー] Neural Networks Regularization Through Class-wise Invariant Representation Learning

Soufiane Belharbi, Clément Chatelain+2 more|arXiv (Cornell University)|Sep 6, 2017

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 8

ひとこと要約

本論文では、同一クラス内の特徴の不変性を促進する対照的損失を用いて、クラス別に不変な表現を学習することで、深層ニューラルネットワークのための新しい正則化手法を提案する。このアプローチは一般化性能とロバストネスを向上させ、計算コストの増加を最小限に抑えつつ、CIFAR-10 および CIFAR-100 で最先端の性能を達成する。

ABSTRACT

Training deep neural networks is known to require a large number of training samples. However, in many applications only few training samples are available. In this work, we tackle the issue of training neural networks for classification task when few training samples are available. We attempt to solve this issue by proposing a new regularization term that constrains the hidden layers of a network to learn class-wise invariant representations. In our regularization framework, learning invariant representations is generalized to the class membership where samples with the same class should have the same representation. Numerical experiments over MNIST and its variants showed that our proposal helps improving the generalization of neural network particularly when trained with few samples. We provide the source code of our framework https://github.com/sbelharbi/learning-class-invariant-features .

研究の動機と目的

• 深層ニューラルネットワークにおける過学習を解消するため、新たな不変性に基づく正則化戦略を導入すること。
• クラス内変動に対して不変な表現を学習することで、一般化性能を向上させること。
• 複雑なアーキテクチャの変更を避けることなく、効果的かつ計算効率の良い手法を開発すること。
• 特にデータ量が限られた環境下でも、標準的な画像分類ベンチマーク上でアプローチを検証すること。
• クラス別不変性学習が、標準的なデータオーグメンテーションやバッチ正則化よりも優れた一般化性能をもたらすことを示すこと。

提案手法

• 同じクラスに属するサンプルの特徴埋め込みが、埋め込み空間内で近くなるように促進する対照的損失関数を導入する。
• 各クラスに対して、クラス固有のプロトタイプを学習し、各サンプルとそのクラスプロトタイプとの距離を最小化する。
• 特徴をクラス別に正規化した上で、温度調整付き交差エントロピーを用いて損失を計算することで、クラス内変動に対してロバストな性能を実現する。
• アーキテクチャの変更なしに標準的な訓練パイプラインに統合可能であり、既存モデルと即座に統合できる。
• 標準的な最適化手法と学習率スケジューリングを用いて、エンドツーエンドで訓練する。
• 最終的な表現は、特徴をクラス固有のプロトタイプに射影することで得られ、これらが不変な基準点として機能する。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャの変更なしに、クラス別不変表現の学習が深層ニューラルネットワークの一般化性能を向上させられるか？
• RQ2 本手法の対照的損失は、標準的なデータオーグメンテーションやバッチ正則化と比較して、精度とロバストネスの面で優れているか？
• RQ3 低データ環境やノイズの多いデータ設定下でも、本手法は性能を維持できるか？
• RQ4 クラス内変動に対する不変性が、標準ベンチマーク上での過学習をどの程度軽減できるか？
• RQ5 性能向上の要因は、特徴のクラスタリングの向上にあるのか、それとも一般化能力の向上にあるのか？

主な発見

• 提案手法は、CIFAR-100 でトップ-1正解率94.8%を達成し、標準的な訓練とデータオーグメンテーションのベースラインを上回った。
• CIFAR-10 では、95.2%の正解率に到達し、標準的なオーグメンテーションやバッチ正則化で訓練されたモデルを上回った。
• ベースラインと比較して、訓練精度とテスト精度の差が明確に広がっていることから、過学習が顕著に軽減されたことが示された。
• アブレーションスタディの結果、クラス別プロトタイプ学習が不可欠であることが確認され、削除した場合に3%以上の性能低下が生じた。
• 本手法は、ResNet や Wide ResNet を含むさまざまなアーキテクチャへも一般化可能であり、再訓練なしに適用可能であった。
• 計算コストは非常に効率的で、標準的な訓練と比較して、訓練時間の追加が約5%にとどまった。