[論文レビュー] Query-Focused Opinion Summarization for User-Generated Content

Lu Wang, Hema Raghavan+2 more|arXiv (Cornell University)|Jun 17, 2016

Topic Modeling参考文献 30被引用数 13

ひとこと要約

本稿では、ユーザー生成コンテンツにおけるクエリ指向型意見要約のためのサブモジュラー関数ベースのフレームワークを提案する。統計的関連性ランク付け、LDAによるトピックカバレッジ、分散関数による多様性を統合している。自動評価（ROUGE、Pyramid F1）および人間評価において、最先端手法を上回り、人間判断では57.1%の好まれ具合を示し、TAC-2008でROUGE-2（0.3234）およびPyramid F1（0.3620）が顕著に高い水準に達した。

ABSTRACT

We present a submodular function-based framework for query-focused opinion summarization. Within our framework, relevance ordering produced by a statistical ranker, and information coverage with respect to topic distribution and diverse viewpoints are both encoded as submodular functions. Dispersion functions are utilized to minimize the redundancy. We are the first to evaluate different metrics of text similarity for submodularity-based summarization methods. By experimenting on community QA and blog summarization, we show that our system outperforms state-of-the-art approaches in both automatic evaluation and human evaluation. A human evaluation task is conducted on Amazon Mechanical Turk with scale, and shows that our systems are able to generate summaries of high overall quality and information diversity.

研究の動機と目的

• ユーザー生成コンテンツにおける情報過多を解消するため、特定のクエリに焦点を当てた要約を簡潔かつ多様に生成すること。
• 学習された文の関連性とトピックカバレッジ、冗長性低減を統合することで、要約品質を向上させること。
• さまざまなテキスト類似度メトリクスがサブモジュラー要約性能に与える影響を評価すること。
• コミュニティQAおよびブログデータにおいて、自動評価と人間評価の両方で本フレームワークの優位性を実証すること。

提案手法

• フレームワークは、関連性（学習された統計的ランカーによる）、トピックカバレッジ（LDAによる）、多様性（分散関数による）を組み合わせたサブモジュラー目的関数を用いる。
• 関連性は、クエリ関連性および主観性特徴に基づいて文をスコア化するListNetベースのランカーでモデル化される。
• トピックカバレッジは、Yahoo! Answersでは100トピック、TAC-2008では40トピックを用いたLDAで捉えられ、要約における多様なトピック表現を可能にする。
• 分散関数は、選択された文のペアワイズ距離の和または最小値を用いて冗長性を低減する。
• 類似度メトリクスとして、語彙的（TF-IDF）、意味的（WordNet）、トピック的（LDA）の3種類を評価し、多様性およびカバレッジに与える影響を検証する。
• グリーディアルゴリズムを用いてサブモジュラー目的関数を最適化し、スケーラビリティと近似的最適性能を確保する。

実験結果

リサーチクエスチョン

• RQ1 学習された文の関連性を統合することで、n-gram類似度と比較してクエリ指向型意見要約の品質がどの程度向上するか。
• RQ2 冗長性低減と多様性最大化の観点から、最適な分散関数と類似度メトリクスの組み合わせは何か。
• RQ3 語彙的、意味的、トピック的の各類似度メトリクス（TF-IDF、WordNet、LDA）がサブモジュラー要約の品質に与える影響は何か。
• RQ4 提案フレームワークは、コミュニティQAおよびブログデータの両方で、自動評価と人間評価の両方において最先端手法を上回るか。

主な発見

• TAC-2008ブログデータセットにおいて、本システムはROUGE-2スコア0.3234を達成し、最高のTAC’08システム（0.2923）およびすべてのベースライン（p < 0.05）を顕著に上回った。
• Amazon Mechanical Turkを用いた人間評価では、本システムは57.1%の好まれ具合を示し、Yahoo!ユーザーが選択した最良の回答（31.9%）を上回った。
• Pyramid F1スコア0.3620は、最高のTAC’08システム（0.2225）および次善のベースライン（0.2790）を顕著に上回った。
• TF-IDFに基づく類似度は、コンテンツカバレッジおよび多様性測定の両方で、WordNetに基づく意味的類似度を一貫して上回った。
• 分散関数に関しては、Yahoo! Answersでは和距離関数（h_sum）が最小距離（h_min）を上回ったが、TAC-2008ではh_minが優れていた。これは、文脈依存の最適設計が求められることを示唆している。
• ブログデータでは、トピック的類似度が語彙的および意味的メトリクスをわずかに上回り、トピックモデリングが長文コンテンツにおける多様性を強化することを示唆している。