[論文レビュー] TempoQR: Temporal Question Reasoning over Knowledge Graphs

Costas Mavromatis, Prasanna Lakkur Subramanyam+6 more|arXiv (Cornell University)|Dec 10, 2021

Topic Modeling被引用数 8

ひとこと要約

TempoQR は、特別なモジュールとトランスフォーマーエンコーダーを用いて文脈、エンティティ、時刻に配慮した表現を統合する、埋め込みベースのフレームワークであり、時系列知識グラフ（TKG）上での複雑な時系列質問に対する回答に特化している。複雑な時系列質問において、最先端手法よりも25–45パーセンテージポイントの向上を達成し、未学習の質問タイプへの一般化性能も優れている。

ABSTRACT

Knowledge Graph Question Answering (KGQA) involves retrieving facts from a Knowledge Graph (KG) using natural language queries. A KG is a curated set of facts consisting of entities linked by relations. Certain facts include also temporal information forming a Temporal KG (TKG). Although many natural questions involve explicit or implicit time constraints, question answering (QA) over TKGs has been a relatively unexplored area. Existing solutions are mainly designed for simple temporal questions that can be answered directly by a single TKG fact. This paper puts forth a comprehensive embedding-based framework for answering complex questions over TKGs. Our method termed temporal question reasoning (TempoQR) exploits TKG embeddings to ground the question to the specific entities and time scope it refers to. It does so by augmenting the question embeddings with context, entity and time-aware information by employing three specialized modules. The first computes a textual representation of a given question, the second combines it with the entity embeddings for entities involved in the question, and the third generates question-specific time embeddings. Finally, a transformer-based encoder learns to fuse the generated temporal information with the question representation, which is used for answer predictions. Extensive experiments show that TempoQR improves accuracy by 25--45 percentage points on complex temporal questions over state-of-the-art approaches and it generalizes better to unseen question types.

研究の動機と目的

• 時系列知識グラフ（TKG）上での複雑な時系列質問を回答するためのギャップを埋める。これは、時間的制約を伴う複数の事実にわたる推論を必要とする。
• 単一の TKG インスタンスで回答可能な単純な質問を超えて、未学習の質問タイプに対しても一般化を向上させること。
• ハードとソフトの両方の監視を用いて、質問を特定のエンティティと時間的範囲にマッピングする統一されたフレームワークを構築すること。
• 専用モジュールとトランスフォーマーベースの統合層を介して、テキスト情報、エンティティ情報、時系列情報を統合し、質問表現を強化すること。
• TKG の破損に対するロバストネスを評価し、未学習の時系列質問パターンにおける性能を評価すること。

提案手法

• 入力質問の初期テキスト表現を生成するために事前学習済み言語モデルを用いる。
• KG からのエンティティ埋め込みを質問表現に統合し、関連するエンティティ（例：'Best Picture' や 'The Godfather'）に質問をマッピングする。
• 2つの補完的なアプローチにより時刻に配慮した埋め込みを生成する：(1) 質問にアノテートされたエンティティに基づいて関連する TKG インスタンスを検索し、(2) TKG への直接アクセスなしで時間的制約を推定するためのリンク予測タスクを実行する。
• トランスフォーマーベースのエンコーダーを用いて、文脈、エンティティ、時刻に配慮した表現を統合し、回答予測用の統一された質問表現を生成する。
• ハード監視（実際の TKG 時刻）とソフト監視（リンク予測による推定）の両方をサポートし、ロバストネスと一般化性能を向上させる。
• マルチヘッドアテンション機構を適用し、推論中に異なる時系列インスタンスやエンティティ関係の関連性を動的に重み付けする。

実験結果

リサーチクエスチョン

• RQ1 質問応答システムは、TKG 上の複数の時系列的インスタンスを効果的に推論することで、複雑な時系列質問にどのように回答できるか？
• RQ2 学習済みの時系列表現は、トレーニング時に見られなかった質問タイプにどの程度一般化できるか？
• RQ3 ハード監視とソフト監視の両方が、TKG における時刻に配慮した質問表現の学習に与える相対的な影響は何か？
• RQ4 推論中に基礎となる TKG に破損が生じた場合、さまざまな手法はどの程度ロバストか？
• RQ5 統一された埋め込みフレームワークは、単純および複雑な時系列 QA ベンチマークの両方で、既存の手法を上回ることができるか？

主な発見

• TempoQR は、複雑な時系列質問において、最先端手法よりも Hits@1 で 25–45 パーセンテージポイントの向上を達成し、ハード監視設定では Hits@1 が 0.918 に達した。
• TempoQR-Soft は、未学習の質問タイプへの一般化が著しく優れており、未学習の複雑な質問タイプにおけるゼロショット評価で、すべてのベースラインを上回った。
• 『最初/最後』の質問において、ハード監視はソフト監視よりも 27% の絶対的向上を示し、正確な時刻が利用可能な状況での有効性を裏付けた。
• TempoQR-Hard は TKG の破損に対して非常に感受性が高く、特に高水準の破損率（p=0.8）では性能が著しく低下したが、CronKGQA はよりロバストであった。
• TKG が破損した状況下で、『最初/最後』の質問において TempoQR-Hard の性能低下が最も顕著で、真の時刻が信頼できない場合の一般化の限界を示唆した。
• 『時刻結合』質問において、TempoQR-Soft は TempoQR-Hard より 8% 低い性能を示し、ソフト監視による時系列埋め込み推論の改善の余地があることを示した。