[論文レビュー] Bayesian Query-Focused Summarization

Hal Daumé|ArXiv.org|Jul 10, 2009

Data Management and Algorithms参考文献 8被引用数 7

ひとこと要約

BayeSumは、語彙の出どころ（検索クエリに関連する語彙、文書の背景語彙、一般英語）をモデル化し、確率的推論を用いて文をランク付けすることで、複数の関連ドキュメントを活用して文抽出を向上させるベイジアンクエリ焦点型要約モデルである。DUC 2005およびMSEベンチマークにおいて最先端の性能を達成しており、クエリ情報が限られた状況下でもKLベースの手法を上回っている。

ABSTRACT

We present BayeSum (for ``Bayesian summarization''), a model for sentence extraction in query-focused summarization. BayeSum leverages the common case in which multiple documents are relevant to a single query. Using these documents as reinforcement for query terms, BayeSum is not afflicted by the paucity of information in short queries. We show that approximate inference in BayeSum is possible on large data sets and results in a state-of-the-art summarization system. Furthermore, we show how BayeSum can be understood as a justified query expansion technique in the language modeling for IR framework.

研究の動機と目的

• 短いクエリにおける情報量の不足に取り組むために、関連ドキュメントをクエリ語の強化として活用すること。
• 情報検索の言語モデルフレームワーク内でのクエリ拡張の統計的原則に基づく手法の開発。
• 関連性判断がノイズ混じりまたは不完全な状況下でも良好に動作するクエリ焦点型要約システムの構築。
• 追加の知識源や構造的特徴を組み込むことができる柔軟でパラメータフリーのベイジアンフレームワークの提供。

提案手法

• BayeSumは、各語を3つの成分の混合から生成するとモデル化する：一般英語言語モデル、文書固有の背景モデル、関連クエリ固有の言語モデル。
• 隠れ変数を用いたベイジアン階層モデルを用い、各語が3つのソースのいずれに属するかを割り当て、文の関連性に関する確率的推論を可能にする。
• 文の関連性は、クエリモデルと文モデルのKLダイバージェンスを用いて計算され、背景言語モデルに対するスムージングが施される。
• 大規模データセットへのスケーリングのため、変分ベイズまたはギブスサンプリングによる近似推論が実施される。
• 複数のドキュメントにわたる関連性判断を統合することで、クエリ表現を精緻化し、文選択を向上させる。
• 文の圧縮やその他の言語的特徴をベイジアンフレームワークを保ったまま統合可能である。

実験結果

リサーチクエスチョン

• RQ1 短いまたは曖昧なクエリに対して、複数の関連ドキュメントをどのように活用することで要約性能を向上させられるか？
• RQ2 ベイジアンフレームワークは、情報検索における従来のクエリ拡張技術と比較して、より堅牢で柔軟な代替手段を提供できるか？
• RQ3 文書レベルの関連性判断を組み込むことで、クエリ焦点型要約における文抽出の正確性はどの程度向上するか？
• RQ4 標準評価指標下で、このモデルの性能は既存の最先端システムと比較してどの程度か？

主な発見

• 2005年のDUCコンペティションにおいて、BayeSumはすべてのシステムの中で最高の応答性スコアを達成し、優れたクエリ焦点型要約性能を示した。
• DUC 2005の自動ROUGE評価では、ROUGEパラメータ設定に応じて3位から6位の間で順位を付け、トップスコアを記録したシステムと統計的に有意な差がなかった。
• MSE 2005の評価では、ピラミッド指標で0.529という最高のヒューマン評価スコアを記録し、次に良いスコアを記録したシステム（0.489）を0.040の差で上回った。
• KL-Relモデルのパラメータを最適にチューニングした状況下でも、BayeSumはそれを上回った。これは、各語ごとのクエリ固有重み付けによる優れた柔軟性を示している。
• 自動評価のBasic Element指標では95%信頼区間[0.0429, 0.1057]を示し、スコアは0.0704で10サイト中3位を記録した。
• 強力な性能を発揮したが、DUC 2005では言語的質の点で低いスコアを記録した。これは、BayeSumの後処理として適用されたルールベースの文の圧縮が原因である可能性が高い。