[論文レビュー] Metric Learning on Manifolds

Max Aalto, Nakul Verma|arXiv (Cornell University)|Feb 5, 2019

Topological and Geometric Data Analysis参考文献 14被引用数 6

ひとこと要約

本稿では、ユークリッド空間の開部分集合に局所微分同相な多様体（一般化された表面）上で、幾何的構造を保つ距離係数を学習することにより、k-meansクラスタリングとk-NN分類の性能を向上させる一般化されたフレームワークを提案する。この手法は、非ユークリッド空間へのメトリック学習アルゴリズムの拡張を可能とし、サンプル複雑度のレートを導出するとともに、双曲埋め込みを用いて実世界のネットワークおよびテキストデータにおいて顕著な性能向上を示している。

ABSTRACT

Recent literature has shown that symbolic data, such as text and graphs, is often better represented by points on a curved manifold, rather than in Euclidean space. However, geometrical operations on manifolds are generally more complicated than in Euclidean space, and thus many techniques for processing and analysis taken for granted in Euclidean space are difficult on manifolds. A priori, it is not obvious how we may generalize such methods to manifolds. We consider specifically the problem of distance metric learning, and present a framework that solves it on a large class of manifolds, such that similar data are located in closer proximity with respect to the manifold distance function. In particular, we extend the existing metric learning algorithms, and derive the corresponding sample complexity rates for the case of manifolds. Additionally, we demonstrate an improvement of performance in $k$-means clustering and $k$-nearest neighbor classification on real-world complex networks using our methods.

研究の動機と目的

• 符号データ（例：テキスト、グラフ）を曲がった多様体上に埋め込んだ非ユークリッド的データ表現に対する一般化可能なメトリック学習手法の不足に対処すること。
• 一般化された表面（R^d の開部分集合に局所微分同相な多様体）上での距離係数学習の理論的裏付けと実装可能性を兼ね備えたフレームワークを構築すること。
• 古典的なメトリック学習アルゴリズム（例：metric-MMC、LMNN）を多様体上で動作可能に拡張し、理論的サンプル複雑度レートを維持すること。
• 一般化されたk-meansアルゴリズムと測地線距離の近似を導入することで、非ユークリッド的多様体上での有効なクラスタリングと分類を可能とすること。

提案手法

• フレームワークは一般化された表面（GS）を対象としており、これは R^d の開部分集合に局所微分同相な多様体として定義され、1枚のアトラスにより明示的な幾何計算が可能となる。
• ユークリッド距離の代わりに多様体上の測地線距離関数を用いて、目的関数を測地線距離に基づき再定式化することで、メトリック学習を一般化する。
• 多様体上でのペアワイズ距離に基づく目的関数を再定式化し、ベクトル平均に依存しないようにすることで、新しいk-meansクラスタリングアルゴリズムを提案する。
• メトリック学習の性能評価に不可欠な、一般化された表面上の最短経路を推定するための測地線距離近似アルゴリズムを含む。
• Verma & Branson (2015) の先行研究を多様体埋め込みデータに拡張し、一般化された表面におけるメトリック学習の理論的サンプル複雑度レートを導出する。
• ハイパーボリック埋め込み（例：双曲面モデル）を用いて検証し、20newsgroup、football、polbooks、adjnoun といった実世界のデータセットに適用する。

実験結果

リサーチクエスチョン

• RQ1 ユークリッド空間でない、例えば双曲的または表面的多様体のような非ユークリッド的多様体に対しても、メトリック学習を一般化できるか？
• RQ2 重心の概念が定義されない多様体上で、k-meansクラスタリングをどのように再定式化できるか？
• RQ3 一般化された表面におけるメトリック学習の理論的サンプル複雑度レートは何か？ また、ユークリッド設定と比較してどうなるか？
• RQ4 多様体上でのメトリック学習は、実世界の記号的データセットにおけるk-NN分類およびクラスタリングの下流性能を顕著に向上させられるか？
• RQ5 実用的なメトリック学習を可能とするために、一般化された表面上での測地線距離をどのように効率的に近似できるか？

主な発見

• 20newsgroupデータセットにおいて、双曲面埋め込み上でのメトリック学習により、正規化相互情報量（NMI）が0.015上昇（相対的に3%の改善）し、標準的な双曲埋め込みを上回った。
• footballデータセットにおけるk-NN分類では、メトリック学習済みの双曲面埋め込みがテスト誤差0.25 ± 0.10を達成した。これは、ユークリッド埋め込みで報告された0.79の誤差と比較して顕著な改善であった。
• adjnounデータセットでは、k-NN誤差が双曲埋め込みの0.55 ± 0.09から0.49 ± 0.05に低下し、多様なデータセットで一貫した性能向上を示した。
• ペアワイズ距離最小化に基づく一般化されたk-meansアルゴリズムは、ベクトル空間構造を持たない多様体上でも、データのクラスタリングに成功した。
• 多様体の内在的幾何構造を考慮した距離係数を学習することで、複雑なネットワークデータセットにおいて最先端の性能を達成した。
• 一般化された表面におけるメトリック学習の理論的サンプル複雑度レートが導出され、ユークリッド設定と整合的であることが示され、本手法の一般化能力が裏付けられた。