[論文レビュー] Free Hyperbolic Neural Networks with Limited Radii.

Yunhui Guo, Xudong Wang+2 more|arXiv (Cornell University)|Jul 23, 2021

Advanced Neural Network Applications参考文献 18被引用数 4

ひとこと要約

本論文では、特徴のクリッピング（Feature Clipping）と呼ばれる正則化手法を提案する。この手法は、勾配消失問題を軽減するために、双曲埋め込みの半径を制限することを目的としている。訓練の安定化により、HNN（双曲ニューラルネットワーク）はCIFAR10、CIFAR100、ImageNetといった標準的な画像ベンチマークで、ユークリッドニューラルネットワークと同等の性能を達成できるようになった。さらに、敵対的ロバストネスと分布外検出性能の向上も見られた。

ABSTRACT

Non-Euclidean geometry with constant negative curvature, i.e., hyperbolic space, has attracted sustained attention in the community of machine learning. Hyperbolic space, owing to its ability to embed hierarchical structures continuously with low distortion, has been applied for learning data with tree-like structures. Hyperbolic Neural Networks (HNNs) that operate directly in hyperbolic space have also been proposed recently to further exploit the potential of hyperbolic representations. While HNNs have achieved better performance than Euclidean neural networks (ENNs) on datasets with implicit hierarchical structure, they still perform poorly on standard classification benchmarks such as CIFAR and ImageNet. The traditional wisdom is that it is critical for the data to respect the hyperbolic geometry when applying HNNs. In this paper, we first conduct an empirical study showing that the inferior performance of HNNs on standard recognition datasets can be attributed to the notorious vanishing gradient problem. We further discovered that this problem stems from the hybrid architecture of HNNs. Our analysis leads to a simple yet effective solution called Feature Clipping, which regularizes the hyperbolic embedding whenever its norm exceeding a given threshold. Our thorough experiments show that the proposed method can successfully avoid the vanishing gradient problem when training HNNs with backpropagation. The improved HNNs are able to achieve comparable performance with ENNs on standard image recognition datasets including MNIST, CIFAR10, CIFAR100 and ImageNet, while demonstrating more adversarial robustness and stronger out-of-distribution detection capability.

研究の動機と目的

• 双曲ニューラルネットワーク（HNN）が階層的データに理論的利点を持つにもかかわらず、標準的な画像認識ベンチマークで性能が低い理由を調査すること。
• CIFAR や ImageNet といった非階層的データセットで HNN の性能が低い原因を特定すること。
• 勾配消失を防ぐために、深くない HNN の訓練を安定化させるシンプルで効果的な正則化手法を開発すること。
• 標準的な視覚ベンチマークで競争力のある性能を達成しつつ、敵対的ロバストネスや分布外検出といった利点を維持できる HNN の実現を目的とする。

提案手法

• 埋め込みの双曲ノルムが事前に定義されたしきい値を超えた場合に、それをクリッピングする正則化手法「特徴のクリッピング」を導入する。
• バックプロパゲーション中にクリッピング操作を適用することで、深層 HNN における勾配消失を防ぐ。
• 埋め込みの径方向の広がりを限定することで、双曲空間の内在的幾何を保ちつつ、表現の範囲を制限する。
• クリッピングを実行するのにポアンカレ球モデルを用い、隠れ表現の双曲ノルムに適用する。
• ネットワークの深さや幅を変更せずに、標準的な HNN アーキテクチャに特徴のクリッピングを統合する。
• クリッピングされた埋め込みを用いて、標準的なバックプロパゲーションにより、HNN をエンドツーエンドで訓練し、最適化の安定化を図る。

実験結果

リサーチクエスチョン

• RQ1 なぜ双曲ニューラルネットワークは、CIFAR10 や ImageNet といった標準的な画像認識データセットで性能が低いのか？
• RQ2 非階層的データ上で訓練する際、HNN で勾配消失問題が生じる主な原因は何か？
• RQ3 シンプルなアーキテクチャ的正則化手法によって、HNN の勾配消失問題を軽減できるか？
• RQ4 径方向の広がりが制限された HNN は、標準的な視覚ベンチマークでユークリッドニューラルネットワークと同等の性能を達成できるか？
• RQ5 特徴のクリッピングを施した HNN は、敵対的ロバストネスや分布外検出といった利点を維持または向上できるか？

主な発見

• HNN における勾配消失問題の主な原因は、双曲的およびユークリッド的コンponentがバックプロパゲーション中に不安定に相互作用することにある。
• 特徴のクリッピングは、双曲埋め込みの径方向の広がりを限定することで、勾配消失を効果的に防止する。
• 特徴のクリッピングを適用した HNN は、MNIST、CIFAR10、CIFAR100、ImageNet において、ユークリッドニューラルネットワークと同等の性能を達成した。
• 改善された HNN は、ベンチマークデータセット上で、標準的な ENN よりも強い敵対的ロバストネスを示した。
• 特徴のクリッピングを施した HNN は、OOD ベンチマークにおける AUROC スコアで、分布外検出能力が優れていた。
• 本手法はシンプルで効果的かつ汎用的であり、クリッピング操作を除いてアーキテクチャの変更は不要である。