[論文レビュー] Hyperbolic Geometry in Computer Vision: A Survey

Pengfei Fang, Mehrtash Harandi+2 more|arXiv (Cornell University)|Apr 21, 2023

Cognitive Computing and Networks被引用数 4

ひとこと要約

本調査は、コンピュータビジョンにおける双曲幾何の最初の包括的レビューを提示し、その負の曲率が視覚タスクにおける階層的データ構造の優れたモデリングを可能にすることを示している。視覚的データを双曲空間に埋め込むこと——特にポアンカレ球モデルを用いることで——低次元表現において、特にデータが少ない状況下でも性能が向上し、空間的信頼性指標や階層的関係を通じて解釈可能性が向上する。

ABSTRACT

Hyperbolic geometry, a Riemannian manifold endowed with constant sectional negative curvature, has been considered an alternative embedding space in many learning scenarios, \eg, natural language processing, graph learning, \etc, as a result of its intriguing property of encoding the data's hierarchical structure (like irregular graph or tree-likeness data). Recent studies prove that such data hierarchy also exists in the visual dataset, and investigate the successful practice of hyperbolic geometry in the computer vision (CV) regime, ranging from the classical image classification to advanced model adaptation learning. This paper presents the first and most up-to-date literature review of hyperbolic spaces for CV applications. To this end, we first introduce the background of hyperbolic geometry, followed by a comprehensive investigation of algorithms, with geometric prior of hyperbolic space, in the context of visual applications. We also conclude this manuscript and identify possible future directions.

研究の動機と目的

• 既存の調査で未だ十分に掘り下げられていない分野であるコンピュータビジョンにおける双曲幾何の応用を体系的にレビューすること。
• 双曲空間の負の曲率が階層的視覚データ構造をより良い方法で表現できる仕組みを特定・分析すること。
• 低次元かつデータが少ない学習状況下で、双曲埋め込みがユークリッド空間の対比的アプローチを上回る性能向上を達成する仕組みを検証すること。
• 双曲空間における幾何的解釈可能性、特に半径方向の位置による信頼性推定と親子関係の可視化を検討すること。
• 未解決の課題と今後の研究方向性を特定すること——混合幾何空間、高度な双曲ニューラル演算子、双曲空間における自己教師あり事前学習フレームワークの開発を含む。

提案手法

• 双曲幾何を用いた40件以上の最近のCV応用を調査・分類し、埋め込みに特にポアンカレ球モデルを重視する。
• 深層ネットワークにおけるレイヤーワイズ演算に適した、双曲空間における指数写像および対数写像を含む幾何的事前知識を分析する。
• 教師あり、教師なし、少データ学習（few-shot）、ゼロショット、モデル適応学習（model adaptation learning）の各学習パラダイムにおける性能を評価する。
• 画像データセット（例：ImageNet、CUB-200）を双曲空間にマッピングし、階層的構造の符号化と歪みの低減を評価する。
• 正確性、埋め込み次元数、低データ環境下での一般化性能の観点から、双曲モデルとユークリッドベースラインを比較する。
• 今後の手法的展開を提案する：ハイブリッド幾何、曲率適応型モデル、双曲空間における自己教師あり事前学習。

実験結果

リサーチクエスチョン

• RQ1 双曲幾何は、ユークリッド空間と比較して、階層的視覚データの表現をどのように改善するか？
• RQ2 視覚タスクにおいて、低次元かつ低データ環境下で双曲埋め込みがどのような性能向上をもたらすか？
• RQ3 ポアンカレ球における半径方向の位置は、モデル予測の信頼性指標として信頼できるか？
• RQ4 親子関係のような階層的関係は、双曲視覚埋め込みにおいて自然にどのように出現するか？
• RQ5 視覚ディープラーニングフレームワークへの双曲幾何の統合において、最も有望な今後の方向性は何か？

主な発見

• 双曲埋め込みは、特に少データ学習（few-shot）やゼロショット学習状況下で、ユークリッド埋め込みよりも顕著な性能向上を達成しており、階層的データの歪みが低減するためである。
• 低信頼性または高不確実性のサンプルは、ポアンカレ球の原点に近い位置に一貫して埋め込まれるのに対し、信頼性の高い予測は境界付近に位置するため、内在的な不確実性推定が可能になる。
• 画像分類体系（例：CUB-200）に見られるような視覚データセットの階層的構造は、双曲幾何を用いることで効果的にモデリング可能であり、その視覚的応用の妥当性が裏付けられる。
• メトリクス学習、クラスタリング、画像セグメンテーションタスクにおいて、双曲モデルはユークリッドベースラインを上回る性能を示しており、特に学習データが限られた状況で顕著である。
• モデル適応学習（MAL）および双曲空間における自己教師あり事前学習は、タスク間で階層的知識を効果的に転送する可能性を示している。
• 現在のCV応用ではポアンカレ球が主流であるが、他のモデル（例：ローレンツモデル）は特定のタスクにおいて利点を示す可能性があるため、モデルに依存しない、あるいは適応的な選択メカニズムの開発が求められる。