[論文レビュー] Inferring Concept Hierarchies from Text Corpora via Hyperbolic Embeddings

Matt Le, Stephen Roller+3 more|arXiv (Cornell University)|Jan 1, 2019

Topic Modeling参考文献 55被引用数 21

ひとこと要約

本稿では、Hearstパターンと双曲埋め込みを組み合わせることで、テキストコーパスから概念階層を推論する新規手法を提案する。双曲空間の階層的幾何構造を活用することで、推移性、効率性、解釈可能性が向上し、複数の上位下位関係ベンチマークで最先端の性能を達成するとともに、SVDベースの手法と比較して埋め込み次元を1桁以上削減した。

ABSTRACT

We consider the task of inferring is-a relationships from large text corpora. For this purpose, we propose a new method combining hyperbolic embeddings and Hearst patterns. This approach allows us to set appropriate constraints for inferring concept hierarchies from distributional contexts while also being able to predict missing is-a relationships and to correct wrong extractions. Moreover -- and in contrast with other methods -- the hierarchical nature of hyperbolic space allows us to learn highly efficient representations and to improve the taxonomic consistency of the inferred hierarchies. Experimentally, we show that our approach achieves state-of-the-art performance on several commonly-used benchmarks.

研究の動機と目的

• 大規模なテキストコーパスから正確で一貫性があり、効率的な概念階層を推論する課題に対処すること。
• Hearstパターンのようなパターンベース手法の限界、特にスパarsityと偽陰性を克服すること。
• 双曲幾何による階層的インダクティブバイアスを組み込むことで、分布的手法を改善すること。
• 自然言語における分類的構造の低次元かつ高効果的な表現を可能にすること。

提案手法

• GigaWord + Wikipediaの大きなテキストコーパスからHearstパターンを用いて潜在的なis-a関係を抽出し、有向かつ重み付きのHearstグラフを構築する。
• Lorentzモデルを用いて、そのグラフを双曲空間に埋め込む。これにより、内在する階層的構造を活用する。
• 推移性を強制し最適化を改善するために、Lorentzモデルにおける双曲包含錐を計算する新規手法を導入する。
• 埋め込みのノルムを用いて用語の一般性を捉え、距離を用いて意味的類似度を捉える。
• 幾何的制約を用いて、欠落した上位下位関係の予測や誤った抽出の是正にモデルを適用する。
• 観測されたHearstパターン抽出を最もよく説明するように、同時に分類的一致性を維持する埋め込みを最適化する。

実験結果

リサーチクエスチョン

• RQ1 双曲埋め込みは、ユークリッド空間やSVDベースの手法と比較して、推論された概念階層の整合性と正確性を向上させることができるか？
• RQ2 双曲幾何は、性能を維持または向上させつつ、必要な埋め込み次元をどの程度削減できるか？
• RQ3 提案手法は、分類体系における欠落した関係や推移的関係をどれほど効果的に回復できるか？
• RQ4 Hearstパターンと双曲埋め込みの組み合わせは、標準的な上位下位関係ベンチマークで既存の最先端手法を上回ることができるか？
• RQ5 双曲空間の幾何的構造により、意味的類似度と階層的関係を1つのベクトル空間に同時に符号化することで、解釈性が向上するか？

主な発見

• 提案手法HYPECONESは、9つの上位下位関係ベンチマークのうち7つで最先端の性能を達成した。BIBLESS, BLESS, LEDS, EVAL, SHWARTZ, WBLESS, HYPERLEXを含む。
• HYPERLEXデータセットでは、スピアマン順位相関係数0.59を達成し、先行研究のPoincaré GLOVE（0.341）を顕著に上回り、SVDベースのベースラインと同等またはそれを上回った。
• WBLESSベンチマークでは90.9%の精度を達成し、他の手法に比べ顕著な向上を示し、検出タスクにおける強力な性能を示した。
• SVDベースの手法が300次元を必要としていたのに対し、本手法では20次元にまで次元を削減しながら、性能を維持または向上させた。これは、その効率性を示している。
• アブレーションスタディにより、双曲包含錐が推移性を向上させ、Hearstグラフに直接の経路が存在しない場合でも、(male horse, is-a, equine)のような欠落した推移的関係を正しく推論できることを確認した。
• WORDNETの部分木（動物、植物、車両）の再構築において、最も優れた非双曲ベースラインと比較して40%以上の相対的改善を達成した。これは、本手法が完全な分類体系の回復に優れていることを検証した。