[論文レビュー] Incorporating Pseudo-Parallel Data for Quantifiable Sequence Editing.

Yi Liao, Lidong Bing+4 more|arXiv (Cornell University)|Apr 19, 2018

Topic Modeling参考文献 19被引用数 1

ひとこと要約

本論文は、内容から結果関連要因を分離するために擬似並列文対を活用する、定量的シーケンス編集（QuaSE）のフレームワークを提案する。二重再構成構造を用いることで、Yelpレビューのデータ上で最先端の性能を達成し、感情極性の正確さとターゲット値誤差の両面で先行手法を上回った。

ABSTRACT

In the task of quantifiable sequence editing (QuaSE), a model needs to edit an input sentence to generate an output that satisfies a given outcome, which is a numerical value measuring a certain property of the output. For example, for review sentences, the outcome could be review ratings; for advertisement, the outcome could be click-through rate. We propose a framework which performs QuaSE by incorporating pseudo-parallel data. Our framework can capture the content similarity and the outcome differences by exploiting pseudo-parallel sentence pairs, which enables a better disentanglement of the latent factors that are relevant to the outcome and thus provides a solid basis to generate output satisfying the desired outcome. The dual reconstruction structure further enhances the capability of generating expected output by exploiting the coupling of latent factors of pseudo-parallel sentences. We prepare a dataset of Yelp review sentences with the ratings as outcome. Experimental results show that our framework can outperform state-of-the-art methods under both sentiment polarity accuracy and target value errors.

研究の動機と目的

• 特定の数値的結果（例：特定のレビュー評価やクリックスルーレート）を正確に満たすテキストを生成する課題に対処すること。
• テキスト生成における結果関連要因とコンテンツ要因の分離を改善すること。
• コンテンツの類似性と結果の差異を両方モデル化できるように、擬似並列文対を活用する手法を開発すること。
• 二重再構成メカニズムによる潜在的要因の結合を活用することで、生成品質を向上させること。

提案手法

• 入力-出力編集を、内容は一貫しているが結果が異なる擬似並列文対として表現する。
• ペaired文におけるコンテンツ要因と結果要因の両方の整合性を保つために、二重再構成構造を用いる。
• コンテンツの保持と結果の整合性の両方を同時に最適化することで、分離された潜在的表現を学習する。
• 擬似並列ペアにおける潜在的要因の結合を活用することで、生成の忠実性と結果制御性を向上させる。
• コンテンツの保持とターゲット結果との整合性を保つ再構成損失と予測損失を組み合わせ、エンドツーエンドで訓練する。
• 評価は、結果指標として評価を用いた新たに構築されたYelpレビューデータセット上で実施した。

実験結果

リサーチクエスチョン

• RQ1 擬似並列データは、シーケンス編集における結果関連要因の分離を改善できるか？
• RQ2 二重再構成構造は、テキスト生成における結果制御性とコンテンツ保持性をどの程度向上できるか？
• RQ3 擬似並列ペアによる結果に配慮した監視を組み込むことで、SOTA手法と比較してターゲット結果の正確さが向上するか？
• RQ4 モデルは、未観測の結果値に対してもどの程度一般化できるか？

主な発見

• 提案フレームワークは、Yelpレビューデータセットにおいて、感情極性の正確さでSOTA手法を上回った。
• 既存のアプローチと比較して、ターゲット値誤差が低く抑えられ、結果制御の精度が向上したことが示された。
• 二重再構成メカニズムは、コンテンツ要因と結果要因の分離を効果的に向上させた。
• 擬似並列データの活用により、望ましい数値的結果に一致する出力を生成する能力が顕著に向上した。
• 多様な結果値に対して堅牢な性能を示し、強力な一般化能力を有することが示された。
• 二重再構成による潜在的要因の結合を活用することで、生成品質と結果整合性が向上することが結果で確認された。