[論文レビュー] Relational Graph Representation Learning for Open-Domain Question Answering

Salvatore Vivona, Kaveh Hassani|arXiv (Cornell University)|Oct 18, 2019

Topic Modeling参考文献 27被引用数 7

ひとこと要約

本稿では、オープンドメイン質問応答のための関係的グラフニューラルネットワークを提案する。双方向アテンションと階層的表現学習を組み合わせ、クエリ、知識グラフ、関連ドキュメントを統合的にモデリングする。WebQuestionsSPで最先端の性能を達成し、GRAFT-Netなどの先行モデルを上回り、micro-F1が72.6%、Hits@1が68.2%を記録した。

ABSTRACT

We introduce a relational graph neural network with bi-directional attention mechanism and hierarchical representation learning for open-domain question answering task. Our model can learn contextual representation by jointly learning and updating the query, knowledge graph, and document representations. The experiments suggest that our model achieves state-of-the-art on the WebQuestionsSP benchmark.

研究の動機と目的

• 単一ソースの質問応答の限界を克服するため、クエリ、知識グラフ、ドキュメントを統合的にモデリングすること。
• エンティティとドキュメント間の文脈に即した関係的表現を学習することで、オープンドメインQAにおける回答の正確性を向上させること。
• 固定された関係表現の欠点を克服するため、学習可能でドキュメント文脈に適応した関係埋め込みを導入すること。
• 異種の有向関係を捉える双方向アテンション機構を用いて、知識グラフ内のメッセージ伝達を強化すること。
• グラフの粗化とクラスタベースの集約を用いて階層的表現学習を実現し、受容場を拡大し、性能を向上させること。

提案手法

• ドキュメントを文脈に即した関係として扱い、共起するエンティティ間に学習可能な埋め込みを備えた双方向エッジを追加することで、知識グラフを拡張する。
• 前向きおよび後向きのエッジ表現間のアテンションスコアを計算する双方向グラフアテンション機構を導入し、異種の有向グラフに対応する。
• ノードをクラスタに割り当てるための学習可能な線形層を適用し、ノードおよびクラスタ表現の階層的集約を可能にする。
• 多層構造のメッセージ伝達機構を採用し、流入および送出エッジからの注目されたメッセージを用いてノード埋め込みを更新する。
• 全層における最終的なノード表現とクラスタベースの表現を連結し、シグモイド活性化関数を備えた最終分類器を適用する。
• 事前学習済みのTransEとGloVe埋め込みを用いたBiLSTMを用いて、エンティティ、関係、クエリ、ドキュメントの埋め込みを初期化する。

実験結果

リサーチクエスチョン

• RQ1 クエリ、知識グラフ、ドキュメントの表現を統合的に学習することで、オープンドメインQAの性能が向上するか？
• RQ2 ドキュメントを文脈に即した関係として扱うことで、固定関係表現と比較して回答の正確性が向上するか？
• RQ3 双方向アテンション機構により、異種の有向知識グラフにおけるメッセージ伝達が向上するか？
• RQ4 グラフの粗化による階層的集約は、モデル性能と受容場の拡大にどの程度寄与するか？
• RQ5 個々のモジュール（例：双方向アテンション、ドキュメント関係、クラスタリング）は最終的な性能にどの程度寄与するか？

主な発見

• 提案モデルはWebQuestionsSPベンチマークでmicro-F1 72.6%を達成し、以前の最先端モデルであるGRAFT-Net（micro-F1 66.0%）を上回った。
• Hits@1は68.2%に向上し、GRAFT-Netの67.8%から0.4ポイント向上した。
• アブレーションスタディの結果、提案された各モジュール（双方向アテンション、ドキュメント文脈に即した関係、階層的集約）が性能向上に顕著な寄与をしていることが確認された。
• マクロ-F1は62.5%、平均F1は61.7%を記録し、データセットのバランスの取れた側面と不均衡な側面の両方で優れた性能を示した。
• 学習可能でドキュメントに適応した関係埋め込みの導入により、テキストの文脈と知識グラフの事実との整合性が、固定関係表現よりも向上した。
• 階層的集約機構により、有効な受容場が拡大され、表現学習が向上したことが、アブレーションスタディの結果から裏付けられた。