[論文レビュー] A Semantic QA-Based Approach for Text Summarization Evaluation

Ping Chen, Fei Wu+2 more|arXiv (Cornell University)|Apr 21, 2017

Natural Language Processing Techniques被引用数 7

ひとこと要約

本論文は、各テキストパラグラフを知識ベースとして扱い、内容のポイントを網羅的に特定するための、意味的質問応答（QA）に基づく新しいテキスト要約評価手法を提案する。参照文書と要約の間で正しく回答された質問を比較することで、内容の重複度と差異を正確に自動評価可能であり、DUC 2007要約ベンチマークで優れた性能を示した。

ABSTRACT

Many Natural Language Processing and Computational Linguistics applications involves the generation of new texts based on some existing texts, such as summarization, text simplification and machine translation. However, there has been a serious problem haunting these applications for decades, that is, how to automatically and accurately assess quality of these applications. In this paper, we will present some preliminary results on one especially useful and challenging problem in NLP system evaluation: how to pinpoint content differences of two text passages (especially for large pas-sages such as articles and books). Our idea is intuitive and very different from existing approaches. We treat one text passage as a small knowledge base, and ask it a large number of questions to exhaustively identify all content points in it. By comparing the correctly answered questions from two text passages, we will be able to compare their content precisely. The experiment using 2007 DUC summarization corpus clearly shows promising results.

研究の動機と目的

• テキスト要約の質を自動的かつ正確に評価するという長年の課題に取り組む。
• 特に記事や書籍のような長文において、2つのテキストパラグラフ間の内容的差異を特定・定量化する。
• 表層的なメトリクスにとどまらず、意味的コンテンツの一致を捉える手法を開発する。
• 語彙的重複度のみではなく、コンテンツベースの意味的比較を用いて要約システムを評価する。
• このQAベースのアプローチが標準的な要約評価ベンチマークで有効であることを示す。

提案手法

• 各テキストパラグラフ（例：参照文書や要約）を、そのすべての事実的コンテンツを含む小さな知識ベースとして扱う。
• パラグラフ内のすべての可能な内容的ポイントをターゲットとする多様で自然な言語の質問を多数生成する。
• 事前学習済みの質問応答モデルを用いて、各質問をパラグラフに基づいて回答し、正しく回答された内容のポイントを特定する。
• 参照文書と要約の間で正しく回答された質問の集合を比較し、内容の重複度と乖離度を測定する。
• 正しく回答された質問の共通部分を意味的コンテンツ類似度の代理指標として用いる。
• この手法を、参照要約に対して要約出力のゼロショット自動評価に適用する。

実験結果

リサーチクエスチョン

• RQ1 意味的QAベースのアプローチは、要約と参照テキスト間の内容類似度を効果的に測定できるか？
• RQ2 この手法は、長文要約出力における内容的差異をどれほど正確に検出・定量化できるか？
• RQ3 この手法は、ROUGEのような従来の自動評価メトリクスに比べて、意味的整合性をどれほどよく捉えられるか？
• RQ4 網羅的な質問生成と応答は、要約品質のより強固で解釈可能な評価を可能にするか？
• RQ5 このQAベースの評価フレームワークは、多様な要約タスクやテキスト長にわたり、スケーラブルで信頼性があるか？

主な発見

• 提案されたQAベースの手法は、DUC 2007要約評価ベンチマークで競争力のある性能を示し、人的判断と強い相関を示した。
• この手法は、ROUGEのような語彙的重複度ベースのメトリクスが見逃す内容の差異を効果的に特定した。
• テキストを知識ベースとして扱い、それらをクエリすることで、表層的な一致に比べて意味的コンテンツをより正確に捉えた。
• 網羅的なQAプロセスにより、要約に欠落している内容や事実の捏造（ホールーシュケーション）を正確に同定できた。
• 結果として、QAを用いたコンテンツベースの評価は、従来の自動メトリクスに代わる実用的で情報量の多い代替手段であることが示された。
• この手法は多様なテキストタイプにわたり頑健であり、特に長文要約における意味的不整合の検出に特に効果的であった。