[論文レビュー] Unsupervised Hierarchy Matching with Optimal Transport over Hyperbolic Spaces

David Alvarez-Melis, Youssef Mroueh+1 more|arXiv (Cornell University)|Nov 6, 2019

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、双曲空間上の最適輸送を活用することで、WordNet やオントロジーなどの階層的データのマッチングを、教師なしで行う新規手法を提案する。ユークリッド空間におけるアライメント手法が、枝の順序入れ替え不変性のため、双曲埋め込みに適用された際に失敗することに起因する問題を解決し、双曲ニューラルネットワークに基づく登録フレームワークを導入することで、多言語 WordNet やオントロジーのマッチングタスクにおいて、最先端のユークリッド手法を上回る性能を達成する。

ABSTRACT

This paper focuses on the problem of unsupervised alignment of hierarchical data such as ontologies or lexical databases. This is a problem that appears across areas, from natural language processing to bioinformatics, and is typically solved by appeal to outside knowledge bases and label-textual similarity. In contrast, we approach the problem from a purely geometric perspective: given only a vector-space representation of the items in the two hierarchies, we seek to infer correspondences across them. Our work derives from and interweaves hyperbolic-space representations for hierarchical data, on one hand, and unsupervised word-alignment methods, on the other. We first provide a set of negative results showing how and why Euclidean methods fail in this hyperbolic setting. We then propose a novel approach based on optimal transport over hyperbolic spaces, and show that it outperforms standard embedding alignment techniques in various experiments on cross-lingual WordNet alignment and ontology matching tasks.

研究の動機と目的

• 外部知識やテキスト類似度に依存せずに、オントロジー や語彙データベースなどの階層的データの教師なしアライメントの課題に対処すること。
• 特に枝の順序入れ替え不変性に起因する、既存のユークリッドベースの教師なし埋め込みアライメント手法が双曲埋め込みに適用された際に失敗する理由を特定・分析すること。
• 双曲空間の内在的構造を活用する幾何学的フレームワークを構築し、階層的データセットの堅牢な完全教師なしアライメントを可能にすること。
• 最小限の仮定のもとで、多言語 WordNet アライメントや生物学的オントロジーのマッチングといった実世界のタスクにおいて、提案手法の有効性を実証すること。

提案手法

• Poincaré ボールモデル上の最適輸送を用いて、双曲多様体間の対応関係として階層マッチング問題を定式化する。
• 双曲ニューラルネットワークを介した非線形登録関数を導入し、2つの双曲埋め込みの幾何的構造を、枝の順序入れ替え不変性を是正することでアライメントする。
• ハイパーボリック最適輸送コストを最小化することで登録ネットワークを訓練し、勾配信号とエンティティ間のソフトな点対応を両立させる。
• Poincaré 距離を用いて埋め込みの階層的構造を保持し、幾何的距離が意味的または分類的関係を反映するように保証する。
• 確率測度を1つの双曲空間から別の空間に写像するためのプッシュフォワード操作を適用し、分布レベルのアライメントを可能にする。
• 対称的初期化による事前学習と、最適輸送による微調整を組み合わせることで、アライメントの堅牢性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 標準的なユークリッド教師なし埋め込みアライメント手法が、階層的データの双曲埋め込みに適用された際に、なぜ失敗するのか。
• RQ2 この失敗の原因となる特定の幾何的不変性（枝の順序入れ替え）は何か。また、ユークリッド空間における不変性とはどのように異なるのか。
• RQ3 教師なしで外部の監視信号を用いずに、双曲空間上の最適輸送を効果的に用いて階層的埋め込みをアライメントできるか。
• RQ4 双曲ニューラルネットワークに基づく可学習非線形登録関数は、線形または剛体変換と比較して、アライメントの堅牢性をどのように向上させるか。
• RQ5 提案手法は、多言語 WordNet や生物学的オントロジーといった多様な階層的データセットに、どの程度一般化可能か。

主な発見

• Muse、Self-Learn、InvarOt といった標準的なユークリッドアライメント手法は、幾何的適合を施しても、枝の順序入れ替え不変性のため、双曲埋め込みに対しては性能が著しく劣る。
• アブレーションスタディの結果、正しい Poincaré 距離の使用と事前学習が、性能に極めて重要であることが確認され、これらを省略すると性能が著しく低下する。
• 多言語 WordNet アライメントにおいて、提案手法の Hyperbolic-OT モデルは、H→M で Precision@10 が 7.89、S→E で 9.66 を達成し、すべてのベースラインを上回る。
• OAEI 2018 オントロジー マッチングタスクにおいて、Hyperbolic-OT は F→P で 16.67% の Precision@10、P→F で 8.73% を達成し、次善のベースライン（4.00%）を著しく上回る。
• ノイズに対して感受性を示し、ドメインシフト下では性能が低下するが、高次元埋め込みでは依然としてより堅牢である。
• フレームワークは Poincaré ボールに限定されず、最適化が容易な他のリーマン多様体にも一般化可能であることが示唆される。