[論文レビュー] Content preserving text generation with attribute controls

Lajanugen Logeswaran, Honglak Lee+1 more|arXiv (Cornell University)|Nov 3, 2018

Topic Modeling被引用数 82

ひとこと要約

この論文は、コンテンツを保持しつつ、インターポレーテッド再構成損失と単一の対立的識別器を用いて複数のテキスト属性を制御するモデルを提案し、感情分析とスタイル転送タスクで評価する。

ABSTRACT

In this work, we address the problem of modifying textual attributes of sentences. Given an input sentence and a set of attribute labels, we attempt to generate sentences that are compatible with the conditioning information. To ensure that the model generates content compatible sentences, we introduce a reconstruction loss which interpolates between auto-encoding and back-translation loss components. We propose an adversarial loss to enforce generated samples to be attribute compatible and realistic. Through quantitative, qualitative and human evaluations we demonstrate that our model is capable of generating fluent sentences that better reflect the conditioning information compared to prior methods. We further demonstrate that the model is capable of simultaneously controlling multiple attributes.

研究の動機と目的

• 内容を失うことなくテキスト属性を変更する必要性を動機づける。
• 属性ラベルに条件づけられた内容適合性のある文生成を学習するモデルを開発する。
• 内容を保持するために自己符号化とバック翻訳を補間する再構成損失を導入する。
• 現実味と属性適合性を確保するために対立的識別器を用いる。
• 複数のテキスト属性を同時に制御し、並列データなしで評価する。

提案手法

• エンコーダが入力 x から内容表現 zx を抽出し、デコーダが zx と属性ベクトル l を条件として y を生成するエンコーダ-デコーダアーキテクチャ。
• 内容を保持する再構成損失：自己符号化損失 Lae、バック翻訳損失 Lbt、そして潜在表現 zx と zy を zxy 経由で結合して x を再構成する補間損失 Lint。
• 現実感と属性適合性を保証するための projection 判別器を用いた対抗損失 Ladv。
• 結合目的関数 Lint + λLadv、学習の詳細として Bernoulli-補間潜在混合と生成のハードサンプリングを含む。
• ソフトサンプリングとハードサンプリングの議論および信頼性向上のためにハードサンプリングされた系列を使用するという選択。
• 文と属性ベクトルの結合分布をモデリングする単一の識別器を通じた複数属性へのスケーラビリティ。

実験結果

リサーチクエスチョン

• RQ1 指定された属性を反映するように文を変換しても内容は保持されるか？
• RQ2 単一の識別器で現実味と属性適合性を複数属性にわたって適用可能か？
• RQ3 補間再構成は単なる丸写しを避け、内容保持を改善するか？
• RQ4 並列データなしで複数属性を同時に制御することは現実的か？
• RQ5 提案手法は客観評価と人間評価の点で従来のスタイル転送法とどう比較されるか？

主な発見

• 提案されたモデルは Yelp (90.50%) および IMDB (94.46%) で高い属性精度を達成します。
• 内容保持（BLEU-1）のスコアは、提案モデルで Yelp が 53.0、IMDB が 40.3 です。
• 流暢さ（パープレキシティ）のスコアは、提案モデルで Yelp が 7.5、IMDB が 2.2 で、競争力のある流暢さを示します。
• 主観的な人間評価は属性適合性と内容保持の点で Ctrl-gen および Cross-align より提案モデルを評価します。
• 単言語翻訳タスク（old English to modern English）では、半監督学習設定でモデルが監督付きベースラインを上回ります。
• モデルは mood、tense、voice、negation など複数属性を同時に高精度で制御することを示します（例：生成サンプルの mood 98%、tense 98%、voice 90%、negation 97%）。