[論文レビュー] How does Weight Correlation Affect Generalisation Ability of Deep Neural Networks

Gaojie Jin, Xinping Yi+4 more|arXiv (Cornell University)|Sep 27, 2020

Neural Networks and Applications被引用数 4

ひとこと要約

この論文は、ニューラルネットワークの複雑さを測る新しい指標として重み相関を導入し、PAC-Bayesianフレームワークに統合することで一般化境界を改善する。著者らは、重み相関を低減する新しい正則化項を提案し、複数の実験で一般化誤差が顕著に低下することを示し、既存の複雑さの測定法を上回ることを確認した。

ABSTRACT

This paper studies the novel concept of weight correlation in deep neural networks and discusses its impact on the networks' generalisation ability. For fully-connected layers, the weight correlation is defined as the average cosine similarity between weight vectors of neurons, and for convolutional layers, the weight correlation is defined as the cosine similarity between filter matrices. Theoretically, we show that, weight correlation can, and should, be incorporated into the PAC Bayesian framework for the generalisation of neural networks, and the resulting generalisation bound is monotonic with respect to the weight correlation. We formulate a new complexity measure, which lifts the PAC Bayes measure with weight correlation, and experimentally confirm that it is able to rank the generalisation errors of a set of networks more precisely than existing measures. More importantly, we develop a new regulariser for training, and provide extensive experiments that show that the generalisation error can be greatly reduced with our novel approach.

研究の動機と目的

• 重み相関（重みベクトル間のコサイン類似度として定義される）が深層ニューラルネットワークの一般化能力に与える影響を調査すること。
• 重み相関を一般化境界に組み込むことでPAC-Bayesianフレームワークを拡張すること。
• 既存の手法よりも一般化誤差をより正確に順序付けできる新しい複雑さの測定法を開発すること。
• トレーニング中に重み相関を明示的に制御する新しい正則化項を設計・評価すること。

提案手法

• 全結合層におけるニューロン重みベクトル間、および畳み込み層におけるフィルタ行列間のコサイン類似度の平均として重み相関を定義する。
• 理論的に重み相関をPAC-Bayesianフレームワークに統合し、重み相関に関して単調である一般化境界を導出する。
• 重み相関を構造的正則化項として含めることで、標準的なPAC-Bayes境界を拡張する新しい複雑さの測定法を提案する。
• バックプロパゲーション中に高い重み相関をペナルティ化する微分可能正則化項を設計し、学習済み重みの相関を低く抑えるように促進する。
• 複数のアーキテクチャとデータセットで、提案された正則化項を用いずにトレーニングしたネットワークと比較して、一般化性能を評価する。
• 実験的一般化誤差の順位付けを用いて、提案された複雑さの測定法を既存のものと比較する。

実験結果

リサーチクエスチョン

• RQ1 重み相関は深層ニューラルネットワークの一般化性能にどのように影響するか？
• RQ2 重み相関を正式にPAC-Bayesian一般化境界に組み込むことで、よりタイトで情報量の多い境界が得られるか？
• RQ3 重み相関を含む複雑さの測定法は、既存の測定法よりも一般化誤差をよりよく予測できるか？
• RQ4 重み相関を低減する正則化項を用いることで、トレーニング中に一般化性能が向上するか？
• RQ5 実際の応用において、提案手法は最先端の複雑さの測定法および正則化技術と比較してどのように評価されるか？

主な発見

• 重み相関を含む提案された一般化境界は、相関に関して単調である。つまり、相関が低いほど境界がタイトになる。
• 重み相関を組み込んだ新しい複雑さの測定法は、既存の測定法よりも異なるネットワークの一般化誤差をより正確に順位付けできる。
• 提案された正則化項は、複数のデータセットとネットワークアーキテクチャで一般化誤差を顕著に低減する。
• 実験により、新しい正則化項を用いたトレーニングが、それらを用いないベースラインモデルと比較して低いテスト誤差を達成することが確認された。
• 理論的主張が重み相関の役割について正当化するため、一般化性能に一貫した改善が得られた。