[論文レビュー] Fine-Grained Named Entity Typing over Distantly Supervised Data via Refinement in Hyperbolic Space.

Muhammad Ali, Yifang Sun+2 more|arXiv (Cornell University)|Jan 27, 2021

Topic Modeling参考文献 25被引用数 4

ひとこと要約

本稿では、微細分類エンティティタイプの階層構造をハイパーボリック空間における文脈に配慮した表記の精錬を用いて活用する、ハイパーボリックなグラフベースのフレームワークであるFGNET-HRを提案する。これにより、ラベルノイズを含む遠隔教師付きデータ上で、従来手法に比べて最大3.5%の厳密正答率の向上を達成した。

ABSTRACT

Fine-Grained Named Entity Typing (FG-NET) aims at classifying the entity mentions into a wide range of entity types (usually hundreds) depending upon the context. While distant supervision is the most common way to acquire supervised training data, it brings in label noise, as it assigns type labels to the entity mentions irrespective of mentions' context. In attempts to deal with the label noise, leading research on the FG-NET assumes that the fine-grained entity typing data possesses a euclidean nature, which restraints the ability of the existing models in combating the label noise. Given the fact that the fine-grained type hierarchy exhibits a hierarchal structure, it makes hyperbolic space a natural choice to model the FG-NET data. In this research, we propose FGNET-HR, a novel framework that benefits from the hyperbolic geometry in combination with the graph structures to perform entity typing in a performance-enhanced fashion. FGNET-HR initially uses LSTM networks to encode the mention in relation with its context, later it forms a graph to distill/refine the mention's encodings in the hyperbolic space. Finally, the refined mention encoding is used for entity typing. Experimentation using different benchmark datasets shows that FGNET-HR improves the performance on FG-NET by up to 3.5% in terms of strict accuracy.

研究の動機と目的

• 遠隔教師付き微細分類名前付きエンティティタイプ（FG-NET）データにおけるラベルノイズの課題に対処すること。
• ユークリッド空間が許容するよりも、微細分類エンティティタイプの階層的性質をより効果的にモデル化すること。
• 表記の精錬にハイパーボリック空間の固有の幾何構造を活用することで、エンティティタイプ分類のパフォーマンスを向上させること。
• グラフベースのメッセージパッシングとハイパーボリック幾何を統合し、文脈に配慮したエンティティメンション符号化を精錬すること。
• ハイパーボリック空間が、従来のユークリッド的手法に比べて、エンティティタイプの階層構造をより効果的に捉えられることを示すこと。

提案手法

• 各エンティティメンションの文脈を密度行列表現に変換するために、双方向LSTMネットワークを用いる。
• ノードがエンティティメンションを表し、エッジが文脈的または意味的関係を表すグラフ構造を構築する。
• ハイパーボリック幾何を用いて、ハイパーボリック空間におけるエンティティメンション表現の精錬を、グラフベースのメッセージパッシングによって実行する。
• 微細分類エンティティタイプの階層的構造を、ユークリッド空間よりも自然にモデル化するために、ハイパーボリック空間を用いる。
• 階層的関係を学習過程で保持するために、ハイパーボリック射影および最適化技術を適用する。
• 最終的な分類のための微細分類エンティティタイプに、精錬されたハイパーボリック埋め込みを用いる。

実験結果

リサーチクエスチョン

• RQ1 ハイパーボリック空間で微細分類エンティティタイプの階層的構造をモデル化することで、遠隔教師付きFG-NETにおけるパフォーマンスが向上するか？
• RQ2 グラフベースの精錬をハイパーボリック空間で行う手法は、ユークリッド空間ベースの手法に比べて、ラベルノイズの影響をどのように効果的に低減するか？
• RQ3 ハイパーボリック幾何は、文脈に配慮した符号化における階層的エンティティタイプの表現をどの程度向上させるか？
• RQ4 提案されたハイパーボリック空間における精錬メカニズムは、ベンチマークデータセットにおける厳密正答率の測定可能な向上をもたらすか？

主な発見

• FGNET-HRは、複数のベンチマークデータセット上で、強力なベースラインに比べて最大3.5%の絶対的な厳密正答率の向上を達成した。
• ユークリッド空間に比べて、ハイパーボリック空間を用いることで、微細分類エンティティタイプの階層的構造のモデル化がより良好に実現された。
• ハイパーボリック空間におけるグラフベースの精錬は、遠隔教師付きからのラベルノイズの影響を効果的に低減した。
• 異なるデータセットにおいて一貫したパフォーマンス向上を示し、データ分布の変化に対しても頑健であることを示した。
• LSTM符号化とハイパーボリックグラフ精錬の統合により、エンティティタイプ分類のための優れた表現学習が達成された。
• 結果は、ユークリッド幾何に比べて、ハイパーボリック幾何が階層的エンティティタイプ分類に適したインダクティブバイアスであることを裏付けた。