[論文レビュー] Argument Generation with Retrieval, Planning, and Realization

Xinyu Hua, Zhe Hu+1 more|arXiv (Cornell University)|Jun 9, 2019

Topic Modeling参考文献 40被引用数 5

ひとこと要約

本稿では、リトリーブ増強生成とテキストプランニングおよびコンテンツ実装を組み合わせることで、一貫性があり内容の豊かな反論を生成する二段階型ニューラルフレームワーク、CANDELAを提案する。自動評価および人間評価において最先端モデルを上回り、従来のシステムよりも内容が豊かで流暢さに富んだ反論を生成するが、1200万件の多様な記事からのリトリーブによって一貫性とスタイル制御を維持する。

ABSTRACT

Automatic argument generation is an appealing but challenging task. In this paper, we study the specific problem of counter-argument generation, and present a novel framework, CANDELA. It consists of a powerful retrieval system and a novel two-step generation model, where a text planning decoder first decides on the main talking points and a proper language style for each sentence, then a content realization decoder reflects the decisions and constructs an informative paragraph-level argument. Furthermore, our generation model is empowered by a retrieval system indexed with 12 million articles collected from Wikipedia and popular English news media, which provides access to high-quality content with diversity. Automatic evaluation on a large-scale dataset collected from Reddit shows that our model yields significantly higher BLEU, ROUGE, and METEOR scores than the state-of-the-art and non-trivial comparisons. Human evaluation further indicates that our system arguments are more appropriate for refutation and richer in content.

研究の動機と目的

• 主張の対立的である文の段落レベルの反論を、一貫性があり情報が多く、スタイル的に適切に生成することの挑戦に応えること。
• リトリーブベースの手法が一貫性のない、断片的な文を生成するという限界を克服し、構造的なコンテンツプランニングと実装を導入すること。
• Wikipedia やニュースメディアを含む多様で高品質なソースを生成プロセスに統合することで、反論の質を向上させること。
• プランニング段階での文レベルのスタイル予測を通じて、議論的関数（例：譲歩、対比）の制御を可能にすること。
• 人間評価によって検証されたように、既存の自動システムよりも反論に適しており、内容が豊富な反論を生成すること。

提案手法

• CANDELAは二重デコーダー構造を採用：テキストプランニングデコーダーは、主要な主張ポイントを選択し、各文に議論的関数（例：譲歩、対比）を割り当てる。
• コンテンツ実装デコーダーは、プランニング意思決定に基づき、流暢で一貫性のある反論を生成し、論理的流れと言語的品質を保証する。
• 1200万件のWikipediaおよび主要英語ニュース出典からの記事をインデックス化したリトリーブシステムをモデルに統合し、多様で高品質な事実的および意見的証拠を提供する。
• リトリーブされた本文からのキーフレーズが記憶として用いられ、コンテンツ選択とプランニングをガイドすることで、事実的関連性と多様性を向上させる。
• プランニングデコーダーでは、コンテンツ選択、順序付け、スタイル言語選択を同時に最適化する複数の目的関数を用いる。
• トレーニングおよび評価は、大規模なRedditデータセット（反論ペair）を用い、最先端のベースラインと強固な比較が可能となる。

実験結果

リサーチクエスチョン

• RQ1 リトリーブ増強型で二段階型のニューラル生成フレームワークは、既存の手法よりも一貫性があり内容の豊かな反論を生成できるか？
• RQ2 明示的なテキストプランニングは、生成された反論の一貫性と議論的構造をどの程度向上させられるか？
• RQ3 Wikipediaを超える多様で高品質なソースを統合することで、生成された反論の事実的正確性と説得力はどの程度向上するか？
• RQ4 モデルは、譲歩や対比などのスタイル言語を効果的に制御できるか？これにより議論的機能と説得力が向上するか？
• RQ5 本手法の性能は、人間が作成した反論と比較して、関連性、内容の豊かさ、流暢さの観点でどの程度優れているか？

主な発見

• 自動評価において、CANDELAは前処理モデルおよび非自明なベースラインを著しく上回り、BLEU、ROUGE、METEORスコアがいずれも高い水準を達成した。
• 人間評価において、CANDELAが生成した反論は、競合システムのものよりも反論に適しており、内容が豊富であると判断された。
• 人間評価の39.2％において、CANDELAの生成反論が人間で編集されたコンテンツよりも好まれ、Seq2seqAug（34.2％）や前処理モデル（13.3％）を上回った。
• モデルは多様なソースを効果的に統合し、キーフレーズ記憶を用いてプランニングをガイドすることで、『子供の世話』や『有給出産休暇』といった複数の関連する主張ポイントをカバーする反論を生成した。
• 改善が見られた一方で、否定の使用が多すぎたり、複雑な議論的構造に対応できなかったりする点から、スタイル制御と議論的プランニングにおけるさらなる改善の余地があることが示された。
• サンプル出力から、CANDELAはベースラインよりも一貫性のある反論を生成していることが明らかになった。一方、ベースラインは繰り返しや事実の捏造、不整合性に苦しんでいることが多い。