[論文レビュー] Hyperbolic Busemann Learning with Ideal Prototypes

Mina Ghadimi Atigh, Martin Keller‐Ressel+1 more|arXiv (Cornell University)|Jun 28, 2021

Human Pose and Action Recognition参考文献 52被引用数 5

ひとこと要約

本稿では、双曲空間のポincare球モデルの理想境界上にクラスプロトタイプを配置することで、事前の階層的知識を必要としない、新しい手法である双曲Busemann学習を提案する。ペナルティ付きBusemann損失を用いて、例の埋め込みと理想プロトタイプ間の類似度を計算し、画像および動画分類ベンチマークで最先端の性能を達成するとともに、境界への類似度を分類の信頼度として自然に解釈できる。

ABSTRACT

Hyperbolic space has become a popular choice of manifold for representation learning of various datatypes from tree-like structures and text to graphs. Building on the success of deep learning with prototypes in Euclidean and hyperspherical spaces, a few recent works have proposed hyperbolic prototypes for classification. Such approaches enable effective learning in low-dimensional output spaces and can exploit hierarchical relations amongst classes, but require privileged information about class labels to position the hyperbolic prototypes. In this work, we propose Hyperbolic Busemann Learning. The main idea behind our approach is to position prototypes on the ideal boundary of the Poincaré ball, which does not require prior label knowledge. To be able to compute proximities to ideal prototypes, we introduce the penalised Busemann loss. We provide theory supporting the use of ideal prototypes and the proposed loss by proving its equivalence to logistic regression in the one-dimensional case. Empirically, we show that our approach provides a natural interpretation of classification confidence, while outperforming recent hyperspherical and hyperbolic prototype approaches.

研究の動機と目的

• 既存の双曲プロトタイプ手法が、プロトタイプの配置に事前の階層的知識を必要としているという制限を解消すること。
• ラベルの階層構造や外部埋め込みに依存せずに、双曲空間におけるプロトタイプベース学習を可能にすること。
• 低次元かつ階層的な表現学習において、理論的根拠があり、実験的にも有効な、解釈可能な信頼度スコアを提供する手法を提供すること。
• ロジスティック回帰を双曲空間に一般化し、理想境界上のプロトタイプをロジスティックモデルの構造と一致させること。

提案手法

• 標準的な双曲距離において無限遠に位置するポincare球モデルの理想境界上にクラスプロトタイプを配置することで、知識なしの初期化を可能にする。
• 例の埋め込みと理想境界上のプロトタイプ間の意味のある類似度を計算するため、ペナルティ付きBusemann損失を導入する。
• 事前の知識がある場合に、階層的プロトタイプを理想境界上に射影するためにℓ₂正規化を用いる。
• ポincare球モデルで標準的な曲率1を採用し、曲率チューニングの必要を回避する。
• 3層のMLPを用いた分類タスクに対して、Adam最適化法と学習率スケジューリングを用いた交互最適化スキームを適用する。
• 1次元双曲空間におけるロジスティック回帰と理論的に同等であることを活用し、モデル設計と一般化能力の妥当性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 事前のラベル階層や埋め込み情報がなくても、双曲空間の理想境界上にプロトタイプを有効に配置できるか？
• RQ2 標準的な距離が発散する中で、双曲埋め込みと理想境界上のプロトタイプ間の類似度を測る微分可能な損失関数を設計できるか？
• RQ3 理想境界上のプロトタイプを備えた双曲プロトタイプモデルは、1次元空間におけるロジスティック回帰に一般化可能か？理論的根拠はあるか？
• RQ4 提案手法は、超球および双曲プロトタイプベースラインと比較して、正確性および信頼度解釈性の観点で優れているか？
• RQ5 理想境界への距離が、双曲空間における分類の信頼度の自然な代理指標として機能できるか？

主な発見

• ActivityNetでは、階層的プロトタイプを用いた場合、mAPが70.6%に達し、ベースラインの68.3%を上回った。
• ラベル階層や埋め込み情報なしに、角度による分離に基づく知識フリーのプロトタイプを用いた場合、ActivityNetでmAPが79.4%に達し、ベースラインの68.3%を著しく上回った。
• Mini-Kineticsでは、分離に基づくプロトタイプを用いた場合mAPが71.6%、階層的プロトタイプを用いた場合20次元空間で65.0%を記録した。
• ペナルティ付きBusemann損失により、理想境界に近い埋め込みは信頼度が低いと自然に解釈できる。
• 理論的分析により、モデルが1次元双曲空間におけるロジスティック回帰と同等であることが確認され、設計の妥当性が裏付けられた。
• 3つのデータセットにおいて、超球および双曲プロトタイプベースラインを上回り、優れた一般化性能とロバスト性を示した。