[論文レビュー] Mixture of Demonstrations for Textual Graph Understanding and Question Answering

Yukun Wu, Lihui Liu|arXiv (Cornell University)|Mar 23, 2026

Topic Modeling被引用数 0

ひとこと要約

MixDemo は Mixture-of-Experts デモンストレーション選択子とクエリ認識グラフエンコーダを導入し、GraphRAG の推論を改善してノイズを低減し、テキストグラフQAで最先端の結果を GraphQA ベンチマークで達成します。

ABSTRACT

Textual graph-based retrieval-augmented generation (GraphRAG) has emerged as a powerful paradigm for enhancing large language models (LLMs) in domain-specific question answering. While existing approaches primarily focus on zero-shot GraphRAG, selecting high-quality demonstrations is crucial for improving reasoning and answer accuracy. Furthermore, recent studies have shown that retrieved subgraphs often contain irrelevant information, which can degrade reasoning performance. In this paper, we propose MixDemo, a novel GraphRAG framework enhanced with a Mixture-of-Experts (MoE) mechanism for selecting the most informative demonstrations under diverse question contexts. To further reduce noise in the retrieved subgraphs, we introduce a query-specific graph encoder that selectively attends to information most relevant to the query. Extensive experiments across multiple textual graph benchmarks show that MixDemo significantly outperforms existing methods.

研究の動機と目的

• クエリに従って関連ノードとエッジに selectively attending することにより retrieved テキストグラフのノイズを抑制する。
• Mixture-of-Experts アプローチを通じて高品質なデモを適応的に選択し、GraphRAG のインコンテクスト学習を改善する。
• 構造情報をLLMへ統合するグラフプロンプトを生成するクエリ認識グラフエンコーダを開発する。
• GraphQA ベンチマークで MixDemo を評価し、最先端のベースラインに対する利得を示す。

提案手法

• 与えられたクエリ q のためにグラフレトリーバーと PCST ベースのサブグラフ抽出を用いてテキストグラフ G からサブグラフ S を取得する。
• 取得したサブグラフをテキストに変換し、 augmented prompts 上で K-means によりデモンストレーションプロンプトをクラスタリングして、多様な exemplars デモを各クラスタにつき1つ選択する。
• クエリ条件付きグラフエンコーダを構築し、ノイズを緩和し関係パターンを保持するためにクエリ認識アテンションウェイトでメッセージパッシングを行い、グラフプロンプト p_graph を生成する。
• 複数の z_d 表現を選択されたデモから関連度で重みづけして最終的なデモンストレーション加重グラフプロンプトを計算する。
• p_demo、p_graph、p_text-graph、q を固定された LLM の入力として結合し dizzy a_gen を生成する。
• ExplaGraphs、SceneGraphs、WebQSP などの GraphQA データセットで MixDemo を経験的に検証し、デモ数とエンコーダ層数のアブレーションを行う。

実験結果

リサーチクエスチョン

• RQ1 Mixture-of-Experts デモンストレーションセレクタはゼロショットベースラインに対してテキストグラフQAのインコンテクスト学習を改善できるか？
• RQ2 クエリ認識グラフエンコーダは retrieved サブグラフのノイズを効果的に低減し、タスク関連情報を保持できるか？
• RQ3 デモの数とエンコーダ深さが QA 性能に与える影響は？
• RQ4 MixDemo は強力なベースラインと比較して diverse な GraphQA ベンチマークでどのように性能を発揮するか？

主な発見

Dataset (Metrics)	Zero-shot	Zero-CoT	CoT-BAG	KAPING	Graph-based Inference	Frozen LLM + PT	GraphToken	G-Retriever	MixDemo
ExplaGraphs (ACC)	56.50	57.04	57.94	62.27	33.93	58.98	85.08	86.19	87.31
SceneGraphs (ACC)	39.74	52.60	56.80	43.75	42.17	63.72	49.03	80.86	82.32
WebQSP (Hit@1)	41.06	51.30	39.60	52.64	47.22	54.11	57.05	70.02	71.36

• MixDemo は ExplaGraphs、SceneGraphs、WebQSP のベースラインを一貫して上回る。
• ExplaGraphs では MixDemo が 87.31%、G-Retriever が 86.19%、GraphToken が 85.08% を達成。
• SceneGraphs では MixDemo が 82.32%、G-Retriever が 80.86%、GraphToken が 49.03% を達成。
• WebQSP では MixDemo が 71.36%、G-Retriever が 70.02%、GraphToken が 57.05% を達成。
• ExplaGraphs では 2-shot デモがショット設定の中で最良の性能を示した。
• 3層の GraphEncoder が最良の精度を示し、それを超える深さでは収益が頭打ちになる。