[論文レビュー] Robust Large-Margin Learning in Hyperbolic Space

Melanie Weber, Manzil Zaheer+3 more|arXiv (Cornell University)|Apr 11, 2020

Topological and Geometric Data Analysis参考文献 28被引用数 7

ひとこと要約

本稿では、ハイパボリック空間におけるロバストで大マージンな学習の理論的保証を初めて提示し、勾配ベースの最適化に敵対的サンプルを組み込むことで、効率的に大マージン超平面を学習するアルゴリズムを提案する。ヒエラルヒカル構造を持つデータに対して、ハイパボリック空間は、ユークリッド空間と比較してより低い埋め込み次元で優れた一般化性能を実現でき、下流の分類タスクにおいて明確な性能優位性を示すことが証明される。

ABSTRACT

Recently, there has been a surge of interest in representation learning in hyperbolic spaces, driven by their ability to represent hierarchical data with significantly fewer dimensions than standard Euclidean spaces. However, the viability and benefits of hyperbolic spaces for downstream machine learning tasks have received less attention. In this paper, we present, to our knowledge, the first theoretical guarantees for learning a classifier in hyperbolic rather than Euclidean space. Specifically, we consider the problem of learning a large-margin classifier for data possessing a hierarchical structure. We provide an algorithm to efficiently learn a large-margin hyperplane, relying on the careful injection of adversarial examples. Finally, we prove that for hierarchical data that embeds well into hyperbolic space, the low embedding dimension ensures superior guarantees when learning the classifier directly in hyperbolic space.

研究の動機と目的

• 階層的構造を持つデータに有望であるが、下流タスクにおける理論的支援が不足しているハイパボリック空間における大マージン分類の理論的基盤を確立すること。
• 特に、内在的な階層的構造を持つデータに対して、理論的裏付けを備えたロバストな分類アルゴリズムの欠落を埋める。
• 分類器性能を評価する際の、ハイパボリック空間とユークリッド空間における埋め込み次元と歪みのトレードオフを分析すること。
• ハイパボリック空間が、階層的データに対してユークリッド空間と比較して、より少ない次元で優れた一般化を達成できることを示すこと。

提案手法

• 勾配ベースの最適化と敵対的サンプルの戦略的インジェクションを組み合わせることで、ハイパボリック空間における大マージン超平面を学習する、新規なアルゴリズムを提案する。
• ローレンツモデルを用いて、測地線とハイパボリック距離を定義し、幾何的に整合性のある最適化を可能にする。
• 理論的収束保証に必要な仮定を満たす、具体的にはハイパボリックロジスティック損失を変更した損失関数を採用する。
• データポイントの周囲のハイパボリック球の中心と半径についての解析的表現を導出し、ハイパボリックマージンを計算する。
• ユークリッド空間とハイパボリック空間における性能と埋め込み効率の比較を目的とした、次元-歪みトレードオフ分析を導入する。
• ハイパボリックパーセプトロンと最小二乗損失を用いた敵対的勾配降下法を用いて実験的検証を行い、収束性とロバスト性を示す。

実験結果

リサーチクエスチョン

• RQ1 ハイパボリック空間におけるロバストで大マージンな分類が理論的に保証可能か。もし可能であれば、その方法は何か？
• RQ2 勾配降下法に敵対的サンプルをインジェクションすることで、ハイパボリック空間における大マージン分離超平面への収束が向上するか？
• RQ3 階層的構造を持つデータに対して、ハイパボリック空間で学習された分類器の性能は、ユークリッド空間で学習されたものと比較してどうなるか？
• RQ4 ハイパボリック空間で分類器を学習する際の、埋め込み次元と歪みのトレードオフは何か？
• RQ5 ハイパボリック空間の内在的な幾何構造を活用することで、低次元表現でより優れた一般化性能を達成できるか？

主な発見

• 敵対的サンプルのインジェクションを組み込んだ本稿で提案するアルゴリズムは、ハイパボリック空間において大マージン分離超平面に理論的に収束するが、標準の勾配降下法や単独の敵対的サンプルではそのような保証は得られない。
• ハイパボリック空間にうまく埋め込める階層的構造を持つデータに対しては、直接ハイパボリック空間で分類器を学習することで、顕著に低い埋め込み次元で優れた一般化保証が得られる。
• 実験的結果から、ハイパボリックパーセプトロンは2クラスの階層的データセットでテスト誤差ゼロを達成しており、非線形分離不可能なデータに対しても良好な性能を示している。
• 最小二乗損失を用いた敵対的勾配降下法は、訓練ダイナミクスが安定しており、敵対的バジェットαが増加するにつれてロバスト性が向上することが図8で示されている。
• 次元-歪みトレードオフ分析の結果、ハイパボリック埋め込みは、ユークリッド埋め込み（d=4のとき0.54）と同等またはそれ以上のテスト誤差（d=4のとき0.51）を達成しており、ハイパボリック空間ではd=8で完全な性能が得られている。
• 理論的分析により、歪みが小さい場合、ハイパボリック空間におけるマージンが歪みの影響を受けても維持され、歪みが小さいときには元のユークリッド空間のマージンに近似することが確認された。