[論文レビュー] Path-Based Contextualization of Knowledge Graphs for Textual Entailment

Kshitij Fadnis, Kartik Talamadupula+4 more|arXiv (Cornell University)|Nov 5, 2019

Topic Modeling参考文献 35被引用数 4

ひとこと要約

本稿では、前提と仮説のエンティティ間のコストカスタマイズ済み最短経路を用いてタスク関連のサブグラフを抽出することで、テキスト entailment の性能を向上させる、知識グラフ（KG）のパスベースの文脈化手法を提案する。複数のヒューリスティクスを用いてエッジの重みを設定し、情報量の多いマルチホップ経路を選択することで、テキストのみまたはエンティティのみのベースラインよりも性能を向上させ、ノイズを低減しながら関係構造を捉える。SciTail では 3.15%、SNLI では 0.97% の向上を達成した。

ABSTRACT

In this paper, we introduce the problem of knowledge graph contextualization -- that is, given a specific NLP task, the problem of extracting meaningful and relevant sub-graphs from a given knowledge graph. The task in the case of this paper is the textual entailment problem, and the context is a relevant sub-graph for an instance of the textual entailment problem -- where given two sentences p and h, the entailment relationship between them has to be predicted automatically. We base our methodology on finding paths in a cost-customized external knowledge graph, and building the most relevant sub-graph that connects p and h. We show that our path selection mechanism to generate sub-graphs not only reduces noise, but also retrieves meaningful information from large knowledge graphs. Our evaluation shows that using information on entities as well as the relationships between them improves on the performance of purely text-based systems.

研究の動機と目的

• 大規模でノイズの多い知識グラフから、NLP タスクに適した意味のある関連サブグラフを抽出する課題に対処すること。
• テキストやエンティティレベルの情報に依存するのではなく、エンティティと関係性の両方を知識グラフから統合することで、テキスト entailment の性能を向上させること。
• 調整可能なヒューリスティクスと経路長制約を用いて動的に情報量の多い経路を選択することで、知識グラフ拡張におけるノイズを低減すること。
• 特に関係構造を含むパスベースの情報が、エンティティのみまたは構造のみのアプローチを上回る有意な改善を NLI システムにもたらすことを実証すること。
• 手動で設計された特徴量やワンホップ近傍拡張に依存するモデルとは対照的に、一般化可能でスケーラブルな代替手法を提供すること。

提案手法

• 複数のヒューリスティクス関数（例：RF, DC）を用いてエッジの重みをカスタマイズすることで、経路選択を制御し、コストカスタマイズ済みの知識グラフに変換する。
• A* サーチを用いて、前提と仮説のエンティティ間の最短経路を計算する。この際、ヒューリスティクスはノードではなくエッジに適用される。
• 得られた経路（エンティティと関係性を含む）を用いて、NLI モデルのテキスト入力を拡張し、構造的・関係的知識を強化する。
• テキスト特徴量とパスベース特徴量を統合した入力で、Match-LSTM モデルを学習させ、entailment、contradiction、neutral の関係を予測する。
• 関係性とノイズ低減のバランスを取るために、複数のヒューリスティクスと経路長をハイパーパrameterとして評価する。
• 本手法は SNLI、SciTail、BreakingNLI で評価され、パスベース、エンティティのみ、構造ベースのベースラインと比較された。

実験結果

リサーチクエスチョン

• RQ1 テキストのみまたはエンティティのみのアプローチと比較して、知識グラフからのパスベースのサブグラフ抽出がテキスト entailment の性能向上に寄与するか。
• RQ2 経路に沿ったエンティティと関係性を統合することで、エンティティのみまたはグラフ構造のみを使用する場合と比較して、NLI モデルの性能がどのように変化するか。
• RQ3 複数の自動計算されたヒューリスティクスを用いることで、NLI に適した知識グラフのサブグラフにおけるノイズはどの程度低減されるか。
• RQ4 経路長制約は、抽出されたサブグラフにおける情報量の豊かさとノイズのトレードオフにどのように影響するか。
• RQ5 本手法は、手動で設計された特徴量やワンホップ近傍拡張に依存するモデルと比較して、より一般化性が高いと示せるか。

主な発見

• 本手法は、KES ベースラインと比較して、SciTail データセットで 3.15% の絶対的向上を達成したが、平均してエンティティ数（13.72 vs. 33.27）と関係数（10.24 vs. 22.09）を著しく削減した。
• SNLI データセットでは、KES と比較して 0.97% の絶対的向上を達成し、エンティティと関係の平均数を 50% 以上削減した。
• GRN モデルは、SciTail と SNLI の両方で ConSeqNet や KES を上回り、概念のみまたはワンホップ構造のみのアプローチよりも、完全なパス情報の利点を示した。
• BreakingNLI データセットにおける敵対的摂動に対して本手法は頑健であったが、ワンホップ設計の利点を活かす KES や KIM よりも成績が低かった。
• 複数のヒューリスティクスと調整可能な経路長の組み合わせにより、ノイズ低減が効果的に行われ、性能の維持または向上が達成された。これにより、本手法の柔軟性とスケーラビリティが裏付けられた。
• 結果から、パスに沿った関係情報がエンティティレベルや構造のみの特徴よりも NLI の性能向上に寄与することが確認され、完全なパス文脈化の価値が浮き彫りになった。