[論文レビュー] MMA Regularization: Decorrelating Weights of Neural Networks by Maximizing the Minimal Angles

Zhennan Wang, Canqun Xiang+2 more|arXiv (Cornell University)|Jun 6, 2020

Face recognition and analysis参考文献 9被引用数 7

ひとこと要約

本稿では、Tammes問題にインspiredされた、各層の正規化された重みベクトル間の最小対比較角を最大化することで、ニューラルネットワークの一般化性能を向上させる、MMA正則化という新しい手法を提案する。安定で微分可能であり、計算コストが極めて低い正則化項を用いることで、角の多様性を促進し、CIFAR100およびTinyImageNetで最先端の性能向上を達成するとともに、顔認識タスクにおける特徴学習を改善する。

ABSTRACT

The strong correlation between neurons or filters can significantly weaken the generalization ability of neural networks. Inspired by the well-known Tammes problem, we propose a novel diversity regularization method to address this issue, which makes the normalized weight vectors of neurons or filters distributed on a hypersphere as uniformly as possible, through maximizing the minimal pairwise angles (MMA). This method can easily exert its effect by plugging the MMA regularization term into the loss function with negligible computational overhead. The MMA regularization is simple, efficient, and effective. Therefore, it can be used as a basic regularization method in neural network training. Extensive experiments demonstrate that MMA regularization is able to enhance the generalization ability of various modern models and achieves considerable performance improvements on CIFAR100 and TinyImageNet datasets. In addition, experiments on face verification show that MMA regularization is also effective for feature learning. Code is available at: https://github.com/wznpub/MMA_Regularization.

研究の動機と目的

• 過パラメータ化されたニューラルネットワークにおける重み相関の問題に取り組み、一般化性能の低下を是正すること。
• 重みベクトル間の角の多様性を促進する、シンプルで効率的かつ効果的な正則化手法を開発すること。
• 従来の直交正則化（クラスタリングを引き起こす）やMHE（計算コストが高いため）の限界を克服すること。
• 任意のネットワークアーキテクチャおよびレイヤー次元に対応可能なスケーラブルな解決策を提供すること。

提案手法

• Tammes問題にインspiredし、正規化された重みベクトル間の最小対比較角を最大化する問題に定式化する。
• 超球面上での重みベクトルの均等分布を促進する微分可能な正則化項を設計する。
• 任意のニューロン数および次元数に対して、Tammes問題の近似解を数値最適化により得る。
• 最小限の計算オーバーヘッドで、MMA正則化項を損失関数に統合する。
• すべてのレイヤーで勾配の安定性と一貫性を確保し、信頼性の高い最適化を実現する。
• 畳み込み層および出力層の両方に対して適用し、フィルタの相関を低減し、クラス間分離性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 重みベクトル間の最小対比較角を最大化することは、深層ニューラルネットワークにおける一般化性能の向上に寄与するか？
• RQ2 MMA正則化は、直交正則化およびMHE正則化と比較して、性能および効率性において優れているか？
• RQ3 MMA正則化は、畳み込み層および全結合層の両方で、フィルタ相関を効果的に低減し、特徴の多様性を向上させるか？
• RQ4 MMAは、画像分類および顔認識タスクの両方で効果的に適用可能か？
• RQ5 MMA正則化の計算コストおよびスケーラビリティは、さまざまなネットワークアーキテクチャにおいてどうか？

主な発見

• VGG19-BNをCIFAR100で学習した際、MMA正則化では0.2を超えるフィルタコサイン類似度が0件にまで低下し、ベースライン（495）、直交正則化（120）、MHE（51）を大きく上回った。
• MMAを用いる際、すべてのレイヤーで最小対比較角が一貫して最大となり、優れた角の多様性が実証された。
• CIFAR100では、MMA正則化によりベースライン比でトップ1精度が最大1.8%向上し、複数のモデルで一貫した向上が得られた。
• TinyImageNetでは、ベースライン比で1.5%の精度向上を達成し、大規模データセットでも有効性を示した。
• 顔認識タスクでは、LFW、CFP-FP、AgeDB-30のすべてで性能向上を確認し、深層特徴学習における有効性を裏付けた。
• 本手法は計算コストが極めて低く、簡単に組み込み可能であり、標準的な正則化手法としての適用が可能である。