[論文レビュー] Knowledge Base Question Answering by Case-based Reasoning over Subgraphs

Raj Das, Ameya Godbole+6 more|arXiv (Cornell University)|Feb 22, 2022

Topic Modeling被引用数 26

ひとこと要約

セミパラメトリックKBQAモデル（Cbr-subg）は、クエリ固有のサブグラフを構築するために類似のトレーニングクエリを検索し、GNNベースの推論モジュールを用いて回答を特定する。これによりサブグラフレベルの推論と大規模KBへのスケーラビリティが実現される。

ABSTRACT

Question answering (QA) over knowledge bases (KBs) is challenging because of the diverse, essentially unbounded, types of reasoning patterns needed. However, we hypothesize in a large KB, reasoning patterns required to answer a query type reoccur for various entities in their respective subgraph neighborhoods. Leveraging this structural similarity between local neighborhoods of different subgraphs, we introduce a semiparametric model (CBR-SUBG) with (i) a nonparametric component that for each query, dynamically retrieves other similar $k$-nearest neighbor (KNN) training queries along with query-specific subgraphs and (ii) a parametric component that is trained to identify the (latent) reasoning patterns from the subgraphs of KNN queries and then apply them to the subgraph of the target query. We also propose an adaptive subgraph collection strategy to select a query-specific compact subgraph, allowing us to scale to full Freebase KB containing billions of facts. We show that CBR-SUBG can answer queries requiring subgraph reasoning patterns and performs competitively with the best models on several KBQA benchmarks. Our subgraph collection strategy also produces more compact subgraphs (e.g. 55\% reduction in size for WebQSP while increasing answer recall by 4.85\%)\footnote{Code, model, and subgraphs are available at \url{https://github.com/rajarshd/CBR-SUBG}}.

研究の動機と目的

• 複雑なサブグラフ推論パターンを、単純なパスだけではなく必要とするKBQAを動機づける。
• KNN検索による類似クエリとクエリ特異的サブグラフを用いるセミパラメトリックCBRベースのモデルを導入する。
• Freebaseのような十億エッジ規模のKBへスケールさせる適応的なサブグラフ収集戦略を開発する。
• KNNサブグラフから推論パターンをターゲットクエリへ転移するGNNベースの推論機構を提案する。

提案手法

• マスク化されたエンティティのクエリ表現とRoBERTaベースの埋め込みを用いてk最近傍のトレーニングクエリを取得する。
• 各クエリについて、取得済みケースから関係連鎖をたどってクエリ特異的サブグラフを構築し、コンパクトなサブグラフを形成する。
• Relational Graph Convolutional Networkでサブグラフをエンコードしてノード表現を得る。
• ターゲットクエリのサブグラフの回答表現とKNNサブグラフの回答表現との最近傍一致を用いて回答ノードを特定し、対比損失で学習する。
• ターゲットサブグラフと取得サブグラフの回答ノードを一致させるような損失（NT-Xentスタイル）で学習する。
• 推論時にはターゲットサブグラフとKNNサブグラフ上でメッセージパッシングを行い、スコアの最も高いノードを回答として選択する。

実験結果

リサーチクエスチョン

• RQ1 Cbr-subgは注釈付きの推論グラフを持たなくても潜在的なサブグラフ推論パターンを学習・適用できるのか。
• RQ2 類似クエリを取得してクエリ特異的サブグラフを構築することは、大規模KB上のKBQA性能を向上させるのか。
• RQ3 非パラメトリックなサブグラフ収集は未知のエンティティや新しい証拠の処理を可能にするのか。
• RQ4 KNNクエリのサブグラフ上での推論は、パスベースや純粋なパラメトリックアプローチよりも優れているのか。

主な発見

• Cbr-subgは複数のKBQAベンチマークで競争力のある性能を達成し、特にFreebaseQAの報告結果で多くのベースラインを上回る。
• サブグラフ収集戦略はコンパクトなサブグラフを生み出し、リコールを改善する（例: WebQSPで4.85%リコールゲインと55%のサイズ削減）。
• モデルは潜在的なサブグラフ推論パターンをモデル化する強力な能力を示し、希薄で関係中心のノード表現により新しいエンティティでの推論が可能。
• 純粋にパラメトリックなモデル（例: GNN+TransE）と比較して、Cbr-subgはテストされたパターンタイプ全体で一貫して性能を向上させる。
• サブグラフ上での推論（CBR-subg）は、組み合わせや交差を要する複雑パターンに特に強く、パスベースのバリアント（CBR-path）を大きく上回る。