[論文レビュー] Pragmatically Informative Text Generation

Sheng Shen, Daniel Fried+2 more|arXiv (Cornell University)|Apr 2, 2019

Topic Modeling参考文献 34被引用数 8

ひとこと要約

本稿では、出力を入力に一意に特定させる必要があるという文脈的配慮を考慮したテキスト生成のための計算的弁解（computational pragmatics）の応用を提案する。これは、発話者と聴話者の相互作用をゲームとしてモデル化し、出力が入力を一意に特定できるようにする。2つの弁解手法—再構成器ベースと干渉要因ベース—を導入し、要約生成および意味表現からテキスト生成へのタスクで、カバレッジと自動評価指標の大幅な向上を示し、0.2–0.5のROUGEおよび2 BLEUポイントの向上を達成し、新たなSOTA（最先端）性能を達成した。

ABSTRACT

We improve the informativeness of models for conditional text generation using techniques from computational pragmatics. These techniques formulate language production as a game between speakers and listeners, in which a speaker should generate output text that a listener can use to correctly identify the original input that the text describes. While such approaches are widely used in cognitive science and grounded language learning, they have received less attention for more standard language generation tasks. We consider two pragmatic modeling methods for text generation: one where pragmatics is imposed by information preservation, and another where pragmatics is imposed by explicit modeling of distractors. We find that these methods improve the performance of strong existing systems for abstractive summarization and generation from structured meaning representations.

研究の動機と目的

• 強力なニューラルテキスト生成モデルが、完全な入力を学習しているにもかかわらず、重要な入力属性を省略するという、情報量不足の問題に対処すること。
• 従来、文脈付き言語学習に使われてきた計算的弁解を、文脈なしで構造化されたテキスト生成タスク（要約生成や意味表現からテキスト生成）へと拡張すること。
• 特定のタスクに特化したアーキテクチャ変更なしに、弁解モデリングがコンテンツカバレッジと生成品質を向上させることを評価すること。
• 入力再構成に基づくアプローチと、干渉要因の識別に基づくアプローチの2つの弁解手法を、性能と頑健性の観点から比較すること。

提案手法

• 聴話者が入力の意味表現を再構成できる能力に基づいて出力を選択する発話者モデルを実装し、候補出力のスコアを学習済み再構成器モデルで評価する。
• 干渉要因ベースのアプローチでは、発話者が真の入力を妥当な代替例（ネガティブ例）と区別できるようにテキストを生成する。
• 両手法を、事前学習済みのベースシーケンス・ツー・シーケンスモデル（$S_0$）の上位でデコード時リランク戦略として適用し、ベースモデルの微調整を行わない。
• 合理的な発話行動理論（Rational Speech Acts, RSA）を模倣したゲーム理論的フレームワークを採用し、発話者は候補群の中から正しい入力を聴話者が正しく特定できるように最適化する。
• 情報量の代理指標としてカバレッジ比を用い、入力属性と生成テキストとの完全一致頻度を測定する。
• 標準指標（要約タスクではROUGE、E2E生成タスクではBLEU）を用いて性能を評価し、干渉要因の属性マスキングに関するアブレーションスタディを実施。

実験結果

リサーチクエスチョン

• RQ1 弁解モデリングは、そうでなければ情報量が不足する神経的テキスト生成モデルの情報量を向上させることができるか？
• RQ2 干渉要因ベースの弁解アプローチは、再構成ベースのアプローチよりも、より包括的かつ正確な出力を生成するか？
• RQ3 2つの弁解手法は、意味表現および要約タスクにおけるさまざまな種類の入力属性に対して、属性カバレッジにどのように影響を与えるか？
• RQ4 アーキテクチャの変更なしに、弁解デコードは自動評価指標（例：ROUGE、BLEU）をどの程度向上させるか？

主な発見

• 弁解モデルは属性カバレッジを顕著に向上させ、干渉要因ベースの手法（$S_1^D$）は、ベースモデル（$S_0$）と比較して、ほとんどの属性のカバレッジ比を向上させた。
• 干渉要因ベースの手法はE2E生成データセットで2 BLEUポイント向上し、CNN/Daily Mail要約タスクでは0.2–0.5のROUGEポイント向上を達成し、ベースモデルを上回り、新たなSOTA性能を達成した。
• 再構成器ベースの手法（$S_1^R$）は、すべての属性でカバレッジを向上させ、再構成に基づくスコアリングが入力コンテンツの言及を効果的に促進していることを示した。
• 干渉要因の意味表現（MR）で特定の属性をマスキングすると、その属性のカバレッジが最も高くなり、モデルが識別に最も関連する属性に注目していることが示された。
• 干渉要因ベースの手法は、指標全体でより優れた性能を示し、妥当な代替例との明示的区別が、単なる再構成よりも効果的であることが示された。
• 両手法とも、強力なベースモデルの情報量不足を軽減し、生成ネットワークの再訓練なしに弁解デコードが性能向上に寄与することを示した。