[論文レビュー] Large Margin Nearest Neighbor Classification using Curved Mahalanobis Distances

Frank Nielsen, Shao, Laetitia|arXiv (Cornell University)|Sep 22, 2016

Automated Road and Building Extraction参考文献 6被引用数 2

ひとこと要約

本稿は、曲がったマハラノビス距離を学習することで、大マージン近傍（LMNN）フレームワークを双曲的および楕円的ケイリー＝クライン幾何に拡張し、ケイリー＝クラインボロノイ図がアフィン的であり、切り捨てられたパワー図と同値であることを示し、分類精度を向上させる混合楕円的・双曲的距離を導入した。ベンチマークデータセットにおいて、定曲率モデルよりも優れた分類精度を達成した。

ABSTRACT

Hilbert geometry is a metric geometry that extends the hyperbolic Cayley-Klein geometry. In this video, we explain the shape of balls and their properties in a convex polygonal Hilbert geometry. First, we study the combinatorial properties of Hilbert balls, showing that the shapes of Hilbert polygonal balls depend both on the center location and on the complexity of the Hilbert domain but not on their radii. We give an explicit description of the Hilbert ball for any given center and radius. We then study the intersection of two Hilbert balls. In particular, we consider the cases of empty intersection and internal/external tangencies.

研究の動機と目的

• 文献において以前に扱われていなかった双曲的ケイリー＝クライン幾何にLMNNアルゴリズムを拡張すること。
• 非ユークリッド空間におけるケイリー＝クラインボロノイ図および球の計算幾何学的性質を調査すること。
• 変動曲率をモデル化するための混合楕円的・双曲的ケイリー＝クライン距離を開発および評価すること。
• ケイリー＝クライン幾何における曲がったマハラノビス距離が、k-NN分類に効率的に計算可能であり、適用可能であることを実証すること。
• 教師あり分類タスクにおける非ユークリッド距離学習の理論的基盤を確立すること。

提案手法

• 不確定符号の行列を用いた双線形形式を用いて、双曲的および楕円的ケイリー＝クライン距離を曲がったマハラノビス距離として再定式化する。
• コレスキー分解またはLDLT分解を用いて双線形形式を標準化し、データを標準的な楕円的または双曲的射影空間に写像する。
• ケイリー＝クライン二等辺線がアフィン（切り捨てられた）超平面であることを証明し、同等のパワー図アルゴリズムを用いた効率的なボロノイ図構築を可能にする。
• ケイリー＝クライン球がマハラノビス型の形状を示すが、原点からの中心がずれていることを示し、幾何的構造への洞察を提供する。
• 非ユークリッド距離に適応したマージン制約および損失関数を用いて、LMNN最適化フレームワークを双曲幾何に拡張する。
• 線形混合距離：d(x,y) = αdE(x,y) + (1−α)dH(x,y) を導入し、交差検証を用いてαを最適化して楕円的および双曲的成分のバランスをとる。

実験結果

リサーチクエスチョン

• RQ1 LMNNフレームワークは双曲的ケイリー＝クライン幾何に成功裏に拡張可能であり、その楕円的対応と比べてどのように異なるか？
• RQ2 ケイリー＝クラインボロノイ図はアフィン的であり、パワー図アルゴリズムを用いて効率的に計算可能か？
• RQ3 ケイリー＝クライン球はマハラノビスに類似た幾何的性質を保持しているか？ もしそうなら、原点からの中心のずれはどのように定義されるか？
• RQ4 学習可能な混合により楕円的および双曲的距離を組み合わせることで、単一曲率モデルに比べて分類性能が向上するか？
• RQ5 ケイリー＝クライン幾何における曲がったマハラノビス距離は、効率的な近隣探索およびスケーラブルな学習を可能にするか？

主な発見

• 提案された双曲的LMNN拡張は、双曲的ケイリー＝クライン幾何における曲がったマハラノビス距離を効果的に学習でき、非ユークリッド空間における距離学習を可能にした。
• ケイリー＝クラインボロノイ図はアフィン的であり、同等の（切り捨てられた）パワー図から構築可能であり、標準的な幾何データ構造を用いた効率的な計算が可能である。
• ケイリー＝クライン球はマハラノビスに類似た形状を示すが、原点からの中心がずれており、中心シフトの明示的公式が提示された。
• 混合楕円的・双曲的距離モデルは、5つのベンチマークデータセット（Wine, Sonar, Balance, Pima, Vowel）で優れた分類性能を達成し、Vowelでは最高0.841、Balanceでは0.920の正解率を記録した。
• 混合モデルにおけるハイパーパrameter α はデータセットに強く依存し、最適値はSonarで0.206からVowelで0.593まで変動しており、定曲率モデルに比べてデータ構造に適応する混合曲率が優れていることを示唆している。
• 理論的および実験的結果により、正負の曲率幾何をブレンドすることで、定曲率代替手法よりも複雑なデータ分布をよりよくモデル化できる非定曲率リーマン多様体が得られることを確認した。