[論文レビュー] Learning towards Minimum Hyperspherical Energy

Weiyang Liu, Rongmei Lin+5 more|arXiv (Cornell University)|May 23, 2018

Advanced Neural Network Applications参考文献 59被引用数 5

ひとこと要約

本稿では、ニューロン重みの電磁的ポテンシャルエネルギーを超球面上で最小化することで、角方向の多様性を促進し、冗長性を低減する、新しい正則化手法である最小超球エネルギー（MHE）を提案する。物理学のトムソン問題にインspirationを得て、ニューロンの射影を均等に分布させることで、画像分類、クラス不均衡学習、大規模な顔認識において一般化性能を向上させ、LFWおよびMegaFaceデータセットで最先端の結果を達成する。

ABSTRACT

Neural networks are a powerful class of nonlinear functions that can be trained end-to-end on various applications. While the over-parametrization nature in many neural networks renders the ability to fit complex functions and the strong representation power to handle challenging tasks, it also leads to highly correlated neurons that can hurt the generalization ability and incur unnecessary computation cost. As a result, how to regularize the network to avoid undesired representation redundancy becomes an important issue. To this end, we draw inspiration from a well-known problem in physics -- Thomson problem, where one seeks to find a state that distributes N electrons on a unit sphere as evenly as possible with minimum potential energy. In light of this intuition, we reduce the redundancy regularization problem to generic energy minimization, and propose a minimum hyperspherical energy (MHE) objective as generic regularization for neural networks. We also propose a few novel variants of MHE, and provide some insights from a theoretical point of view. Finally, we apply neural networks with MHE regularization to several challenging tasks. Extensive experiments demonstrate the effectiveness of our intuition, by showing the superior performance with MHE regularization.

研究の動機と目的

• 過パラメータ化された深層ニューラルネットワークにおける表現の重複とニューロン間の高相関性という問題に取り組む。
• ニューロン重みの射影における角方向の多様性を促進することで、一般化性能を向上させる。
• さまざまなネットワークアーキテクチャーやタスクに適用可能な、原理的かつ汎用的な正則化フレームワークを開発する。
• 超球面上のエネルギー最小化がニューロン表現の均等分布を実現する手段としての理論的基盤を提供する。
• 大規模顔認識やクラス不均衡学習のような挑戦的なタスクにおける性能を向上させる。

提案手法

• トムソン問題にインspirationを得て、単位超球面上のニューロン重みベクトルのポテンシャルエネルギーを最小化する正則化目的として、最小超球エネルギー（MHE）を提案する。
• ペアワイズの角距離に基づいて超球面上のエネルギーを定義し、エネルギーが低いほど均等性と多様性が高くなるようにする。
• 角距離をユークリッド距離の代わりにエネルギー計算に用いる、角方向MHE（A-MHE）を導入し、深層学習における角特徴の重視に適応させる。
• 隠れ層における共線形ニューロン配置を防ぐために、仮想の負のニューロンを導入し、半空間MHEを構築する。
• 出力層にMHEを適用することで、分類器ニューロンを全超球面上に均等に分布させ、クラス間分離性を向上させる。
• 大規模な設定（例：顔認識）において計算コストを削減するため、MHEのミニバッチ近似を用いる。

実験結果

リサーチクエスチョン

• RQ1 超球面上のエネルギーを最小化することで、特徴の重複を低減させることで、深層ニューラルネットワークの一般化性能が向上するか？
• RQ2 正則化手法としてのMHEは、正規直交化や対照学習といった既存手法と比較して、角方向の多様性をどのように促進するか？
• RQ3 MHEは隠れ層および出力層の両方に対して効果的に適用可能で、一貫した性能向上をもたらすか？
• RQ4 MHEはLFWおよびMegaFaceのような大規模顔認識ベンチマークで性能向上をもたらすか？
• RQ5 MHEは、SphereFaceのような既存の損失関数と組み合わせることで、最先端の性能をさらに向上させられるか？

主な発見

• SphereFace+にMHE正則化を適用した場合、LFWでは99.47%の精度、MegaFaceでは73.03%のランク1精度を達成し、SphereFaceを大きく上回った。
• SphereFace-64アーキテクチャにおいて、MHEはMegaFace精度を72.72%（SphereFace）から73.03%に向上させ、ネットワークの深さに関わらず一貫した向上を示した。
• MHEは、汎用的画像分類、クラス不均衡学習、GANベースの画像生成といった複数のタスクにおいて、一貫して性能を向上させた。
• 半空間MHEのバリエーションは、隠れ層における共線形ニューロン配置を効果的に防止し、残存する冗長性を回避した。
• MHEは、アーキテクチャの変更なしに、SphereFaceのような既存モデルを強化できるプラグイン型正則化ソリューションを提供した。
• 本手法は、さまざまなネットワークアーキテクチャーやハイパーパramータ設定に一般化可能であり、頑健性とスケーラビリティを示した。