[論文レビュー] Automatic Summarization System coupled with a Question-Answering System (QAAS)

Juan‐Manuel Torres‐Moreno, Pier-Luc St-Onge+3 more|ArXiv.org|May 18, 2009

Topic Modeling参考文献 22被引用数 27

ひとこと要約

本稿では、汎用要約器（Cortex）を用いて文書をフィルタリングおよび要約し、回答抽出の前処理として利用することで、QAのパフォーマンスを向上させる、連携型自動要約・質疑応答システム（QAAS）を提案する。このシステムはベクトル空間モデルと、10個の統計的指標を組み合わせた意思決定アルゴリズムを用い、高関連性の文を抽出する。その結果、特にユーザーの質問に基づくパーソナライズド要約を生成する際、回答の正確性が向上した。

ABSTRACT

To select the most relevant sentences of a document, it uses an optimal decision algorithm that combines several metrics. The metrics processes, weighting and extract pertinence sentences by statistical and informational algorithms. This technique might improve a Question-Answering system, whose function is to provide an exact answer to a question in natural language. In this paper, we present the results obtained by coupling the Cortex summarizer with a Question-Answering system (QAAS). Two configurations have been evaluated. In the first one, a low compression level is selected and the summarization system is only used as a noise filter. In the second configuration, the system actually functions as a summarizer, with a very high level of compression. Our results on French corpus demonstrate that the coupling of Automatic Summarization system with a Question-Answering system is promising. Then the system has been adapted to generate a customized summary depending on the specific question. Tests on a french multi-document corpus have been realized, and the personalized QAAS system obtains the best performances.

研究の動機と目的

• 自動テキスト要約モジュールを統合することで、質疑応答システムのパフォーマンスを向上させること。
• 要約処理が、ノイズフィルタとして機能するか、または高圧縮要約器として機能するかが、QAの正確性に与える影響を評価すること。
• 学習データを必要とせず、ユーザーの質問に適応する要約方法を開発すること。
• 統計的指標と意思決定アルゴリズムの組み合わせが、汎用的およびクエリ固有の要約において関連文の選択にどの程度有効であるかを評価すること。
• ベクトル空間モデルと指標融合を用いた要約とQAの連携が、フランス語テキストコーパスにおいて実現可能で利点があることを実証すること。

提案手法

• テキストを数値ベクトルとして表現するため、ベクトル空間モデルを用いてドキュメントを前処理し、効率的な処理を実現する。
• tf.idf、文の位置、固有語の頻度など10個の独立した統計的指標を用い、文の関連性をスコア化する。
• 最適な重み付けを用いてこれらの指標を統合する意思決定アルゴリズム（DA）を採用し、最も関連性の高い文を選択する。
• 一つの設定では低圧縮要約（ノイズフィルタとしての用途）、もう一つの設定では高圧縮要約（高圧縮要約器としての用途）を用い、QAパフォーマンスへの影響を評価する。
• ユーザーの質問に含まれる語を含む文を優先的に処理することで、要約プロセスをユーザーの質問に適応させ、パーソナライズド要約を可能にする。
• 要約出力をQAパイプラインに統合し、検索空間を縮小し、回答抽出の正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 回答抽出の前処理として自動要約を適用することで、質疑応答システムの正確性と再現率が向上するか？
• RQ2 ノイズフィルタとしての要約（低圧縮）を用いる場合と、高圧縮要約器としての要約を用いる場合とでは、QAの結果に差が出るか？
• RQ3 クエリに依存しない要約器を、特定のユーザーの質問に適合するパーソナライズド要約に再利用できるか？
• RQ4 意思決定アルゴリズムにおける個々の指標およびその重み付けの変動に、要約結果がどの程度感応するか？
• RQ5 ベクトル空間モデルと指標統合を組み合わせることで、フランス語マルチドキュメント要約における効果的な文選択がどの程度可能か？

主な発見

• Cortex要約器とQAシステムの連携により、特にユーザーの質問に基づくパーソナライズド要約を生成する際、回答品質が顕著に向上した。
• 低圧縮設定（ノイズフィルタとしての用途）では、関連のないドキュメントが削減され、QAモジュールの入力が洗練され、回答抽出が改善された。
• 高圧縮設定では、ドキュメントを最も関連性の高い内容に圧縮することで、抽出された回答の正確性が向上した。
• ユーザーの質問に適応するパーソナライズドQAASシステムは、フランス語マルチドキュメントコーパスにおいて、最も優れた全体的なパフォーマンスを達成した。
• 学習データを一切必要とせず、tf.idf、文の位置、固有語の有無などの10個の統計的指標を意思決定アルゴリズムで効果的に統合でき、さまざまな設定においても堅牢性を示した。
• 結果から、要約処理をQAパイプラインに統合することで、検索空間が縮小され、正しいかつ簡潔な回答の抽出確率が向上することが確認された。この手法は、実世界の応用において有望であると検証された。