[論文レビュー] Removing the Feature Correlation Effect of Multiplicative Noise

Zijun Zhang, Yining Zhang+1 more|arXiv (Cornell University)|Sep 19, 2018

Domain Adaptation and Few-Shot Learning被引用数 3

ひとこと要約

本稿では、バッチ正則化を施した深層ネットワークにおいて、ドロップアウトなどの標準的な乗法的ノイズが引き起こす特徴量相関を除去する新しい正則化手法である非相関乗法的ノイズ（NCMN）を提案する。ノイズ成分を介した勾配の切断とバッチ正則化の組み合わせにより、NCMNは特徴量相関を低減し、一般化性能を向上させ、画像分類ベンチマークにおいて標準的なドロップアウトおよびシェイクシェイク正則化を上回る性能を発揮する。

ABSTRACT

Multiplicative noise, including dropout, is widely used to regularize deep neural networks (DNNs), and is shown to be effective in a wide range of architectures and tasks. From an information perspective, we consider injecting multiplicative noise into a DNN as training the network to solve the task with noisy information pathways, which leads to the observation that multiplicative noise tends to increase the correlation between features, so as to increase the signal-to-noise ratio of information pathways. However, high feature correlation is undesirable, as it increases redundancy in representations. In this work, we propose non-correlating multiplicative noise (NCMN), which exploits batch normalization to remove the correlation effect in a simple yet effective way. We show that NCMN significantly improves the performance of standard multiplicative noise on image classification tasks, providing a better alternative to dropout for batch-normalized networks. Additionally, we present a unified view of NCMN and shake-shake regularization, which explains the performance gain of the latter.

研究の動機と目的

• 乗法的ノイズ（ドロップアウトなど）が引き起こす特徴量相関という、これまで無視されてきた副作用を特定・解消すること。
• 追加の計算コストや追加のハイパーパrameterを導入せずに、この相関効果を除去する正則化手法を開発すること。
• シェイクシェイク正則化の成功を、NCMNの変種と類似する点から統一的に理論的に説明すること。
• 様々なアーキテクチャ、特にResNetsおよびワイド残差ネットワークにおいて、NCMNが一貫して性能向上をもたらすことを示すこと。

提案手法

• ノイズを含む特徴量を信号成分とノイズ成分に分解し、ノイズ成分を介した勾配を切断することで最適化のずれを防ぐ。
• バックプロパゲーション中にノイズ成分を定数とみなす勾配修正手法を導入し、ノイズが特徴量更新に与える影響を効果的に排除する。
• 勾配切断技術とバッチ正則化を組み合わせることで、訓練中に特徴量の大きさが増大する傾向を是正する。
• 平滑なCNNおよび残差ネットワークを想定した複数のNCMNバリアント（NCMN-0、NCMN-1、NCMN-2）を定式化し、異なるアーキテクチャに適応させる。
• NCMNとシェイクシェイク正則化の理論的関連性を示し、両者ともに類似した統計的性質を持つノイズを生成し、特徴量相関を抑制することを示す。
• 全結合層および畳み込み層にこの手法を適用し、標準的な画像分類設定における有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ドロップアウトのような乗法的ノイズは本質的に特徴量相関を増加させるのか？ もしそうであれば、モデルの一般化性能にどのような影響を与えるのか？
• RQ2 追加のハイパーパrameterや計算コストを増加させることなく、乗法的ノイズに起因する特徴量相関効果を体系的に除去できるか？
• RQ3 NCMNとシェイクシェイク正則化の理論的関連性は何か？ また、この関連性はシェイクシェイクの優れた性能を説明できるか？
• RQ4 異なるネットワークアーキテクチャにおいて、NCMNは標準的なドロップアウトおよびシェイクシェイクと比較して、テスト誤差および訓練安定性の面でどのように異なるか？
• RQ5 NCMNの利点は、特徴量相関が既に低いLSTMのような非CNNアーキテクチャにも拡張可能か？

主な発見

• NCMNは特徴量相関を顕著に低減し、クリーンな特徴量および標準的な乗法的ノイズを用いたものよりも低い相関レベルを達成する。
• CIFAR-10およびCIFAR-100において、NCMN-2はWRN-22-7.5で3.00%のテスト誤差を達成し、同じアーキテクチャで標準的なドロップアウト（3.89%）およびシェイクシェイク（3.51%）を上回る性能を発揮する。
• NCMN-2で訓練されたWRN-28-10モデルは、シェイクシェイクと同等の性能に、9倍少ないエポック数（200 vs. 1800）で到達し、収束が著しく速いことが示された。
• NCMN-0は、小規模（1.6Mパラメータ）および大規模（36.5Mパラメータ）のネットワークを含む、さまざまなサイズのモデルにおいて一貫した性能向上を示し、CIFAR-10では最大5.10%の向上を達成した。
• ResNetsではNCMN-2が最良の一般化性能を示した一方、NCMN-0はより単純かつ高速なため一般用途に適しており、アーキテクチャに応じた性能の感受性が顕在化した。
• LSTMでは、特徴量相関が既に低いため、NCMNはドロップアウトと比較して顕著な向上を示さず、この手法の利点が相関が高い状況で顕著であることを裏付けた。