[論文レビュー] OpinionDigest: A Simple Framework for Opinion Summarization

Yoshihiko Suhara, Xiaolan Wang+2 more|arXiv (Cornell University)|May 5, 2020

Topic Modeling参考文献 23被引用数 5

ひとこと要約

OpinionDigestは、レビューから意見フレーズを抽出し、それらを用いて完全なレビューを再構築するためのTransformerモデルを訓練する、画期的な抽象的意見要約フレームワークである。推論時、複数のレビューにわたる最も一般的な意見を選択し、流暢で情報豊富な要約を生成する。これにより最先端の性能を達成するとともに、アスペクトやセンチメントに基づいて意見をフィルタリングすることで、要約の制御が可能になる。

ABSTRACT

We present OpinionDigest, an abstractive opinion summarization framework, which does not rely on gold-standard summaries for training. The framework uses an Aspect-based Sentiment Analysis model to extract opinion phrases from reviews, and trains a Transformer model to reconstruct the original reviews from these extractions. At summarization time, we merge extractions from multiple reviews and select the most popular ones. The selected opinions are used as input to the trained Transformer model, which verbalizes them into an opinion summary. OpinionDigest can also generate customized summaries, tailored to specific user needs, by filtering the selected opinions according to their aspect and/or sentiment. Automatic evaluation on Yelp data shows that our framework outperforms competitive baselines. Human studies on two corpora verify that OpinionDigest produces informative summaries and shows promising customization capabilities.

研究の動機と目的

• 要約のためのゴールドスタンダード要約が存在しない分野に対処するため、学習にそれらを必要としないフレームワークの開発。
• 複数のレビューにわたる意見の人気度を明示的にモデル化することで、要約の質を向上。
• アスペクトやセンチメントに基づいて意見をフィルタリングすることで、要約の制御を可能に。
• エンドツーエンドのオートエンコーダモデルの代替としてパイプライン型のアプローチを提供し、解釈可能性と制御性を向上。
• 大規模なレビュー数から、性能劣化を伴わずに高品質な抽象的要約を生成。

提案手法

• 個々のレビューから意見フレーズ、そのセンチメント極性、およびアスペクトカテゴリを事前学習済みABSAモデルを用いて抽出。
• 類似した意見フレーズをクラスタリングするためのグリーディクラスタリングアルゴリズムを適用し、意見セット内の重複を低減。
• 頻度ベースのランク付けを用いて、統合済みクラスタから最も人気のある意見を選択。アスペクトやセンチメントに基づいてオプションでフィルタリング可能。
• 選択された意見フレーズから元のレビューを再構築するための、Transformerベースのシーケンス・トゥ・シーケンスモデルを、再構築損失を用いて訓練。
• 選択およびフィルタリング済みの意見を訓練済みジェネレータモデルに供給し、最終的な意見要約を生成。
• ユーザーが生成前に入力の意見をアスペクトおよび/またはセンチメントでフィルタリングできるようにすることで、カスタマイズ可能な要約をサポート。

実験結果

リサーチクエスチョン

• RQ1 ゴールドスタンダード要約に依存しないフレームワークでも、高品質な抽象的意見要約を生成できるか？
• RQ2 意見の人気度を明示的にモデル化することで、エンドツーエンドのオートエンコーディング手法に比べ、より情報豊かで一貫性のある要約が得られるか？
• RQ3 アスペクトやセンチメントに基づいて意見をフィルタリングすることで、要約の制御が可能になるか？
• RQ4 OpinionDigestの性能は、自動評価および人間評価において、抽出的および抽象的ベースラインと比較してどうか？
• RQ5 多数のレビューを処理する際、OpinionDigestは要約品質を維持できるか？

主な発見

• Yelpデータセットを用いた自動評価において、OpinionDigestはすべてのベースライン手法を上回り、ROUGEおよびBERTScoreの指標が向上した。
• 人間評価では、情報性（85.2点）と一貫性（82.7点）で最高得点を記録し、LexRankやMeanSumを顕著に上回った。
• OpinionDigestの要約文の68.5％が入力レビューによって完全または部分的に裏付けられており、MeanSumの52.3％と比較して、より強い事実的一致性を示した。
• 制御可能な要約の46.6％が指定されたアスペクトのみを議論しており、失敗率はたった10.3％にとどまり、強力なカスタマイズ能力を示した。
• 100件を超えるレビューからも、性能劣化を伴わず高品質な要約を生成できた。これに対して、従来の手法はレビュー表現の平均化により性能が低下していた。
• 定性的分析により、入力レビューに冗長または誤った意見抽出が含まれても、OpinionDigestが流暢で抽象的な要約を生成できることを確認した。