[論文レビュー] IMaT: Unsupervised Text Attribute Transfer via Iterative Matching and Translation

Zhijing Jin, Di Jin+3 more|arXiv (Cornell University)|Jan 31, 2019

Topic Modeling被引用数 9

ひとこと要約

IMaTは、反復的な文マッチングとシーケンス・トゥ・シーケンス翻訳を用いて擬似並列コーパスを構築することで、段階的な翻訳ステップによるアライメントの精錬を実現する、単純ながらも効果的な教師なしテキスト属性転送フレームワークを提案する。感情やフォーマルリティ転送において最先端の性能を達成し、複雑なGANベースの手法やヒューリスティック手法を上回り、コンテンツの保存性、文の流暢さ、属性の正確性の面で優れている。

ABSTRACT

Text attribute transfer aims to automatically rewrite sentences such that they possess certain linguistic attributes, while simultaneously preserving their semantic content. This task remains challenging due to a lack of supervised parallel data. Existing approaches try to explicitly disentangle content and attribute information, but this is difficult and often results in poor content-preservation and ungrammaticality. In contrast, we propose a simpler approach, Iterative Matching and Translation (IMaT), which: (1) constructs a pseudo-parallel corpus by aligning a subset of semantically similar sentences from the source and the target corpora; (2) applies a standard sequence-to-sequence model to learn the attribute transfer; (3) iteratively improves the learned transfer function by refining imperfections in the alignment. In sentiment modification and formality transfer tasks, our method outperforms complex state-of-the-art systems by a large margin. As an auxiliary contribution, we produce a publicly-available test set with human-generated transfer references.

研究の動機と目的

• 並列学習データが利用できない状況下での教師なしテキスト属性転送の課題に対処すること。
• コンテンツ保存性の低さや不文法的表現の問題を抱える既存の分離ベースのモデルの限界を克服すること。
• 複雑なアーキテクチャやルールベースのヒューリスティクスを回避する、堅牢でエンドツーエンドのフレームワークの開発。
• 反復的なアライメントの精錬を通じて、擬似並列文のアライメント品質を向上させること。
• より信頼性の高い評価を可能にするために、感情転送用の公開済み人間アノテートテストセットの提供。

提案手法

• 異なる属性を持つコーパス間で意味的に類似した文をマッチングすることで、初期の擬似並列コーパスを構築する。
• 擬似並列コーパス上で標準的なシーケンス・トゥ・シーケンス（Seq2Seq）モデルを学習させ、属性転送を学習する。
• 前の反復で得られたモデルの出力翻訳文を用いて、繰り返し擬似並列コーパスを精錬する。
• コンテンツ類似度メトリクス（WMD）を用いて更新を検証し、元の文と翻訳文の間のコンテンツシフトを減少させるもののみを採用する。
• 性能が飽和するまで、マッチング・翻訳・精錬のループを繰り返し、時間の経過とともにアライメント品質を向上させる。
• Seq2Seqモデルのノイズ除去能力を活用し、完全な初期アライメントがなくても、低品質な初期マッチングを補正する。

実験結果

リサーチクエスチョン

• RQ1 弱教師付きの擬似並列コーパス上で学習された単純なSeq2Seqモデルが、複雑な分離ベースのモデルを上回る属性転送を達成できるか？
• RQ2 擬似並列アライメントの反復的精錬が、出力のコンテンツ保存性と文の流暢さにどの程度向上効果をもたらすか？
• RQ3 低品質な初期文マッチングに対しても本手法は頑健であるか？ また、より強力なベースラインを上回る性能を示すか？
• RQ4 反復的翻訳プロセスは、初期の擬似ペアに含まれる誤りを効果的にノイズ除去・是正できるか？
• RQ5 本手法は、感情転送やフォーマルリティ転送といった異なる属性転送タスクに一般化可能か？

主な発見

• IMaTは、自動評価および人間評価の両面で、GANベースの手法（Shen et al., 2017; Fu et al., 2018）およびヒューリスティック手法（Li et al., 2018）を含む最先端モデルを上回った。
• 最初の翻訳ステップで、YELPではBLEUスコアが9.40から13.18に、FORMALITYでは5.44から28.25に向上し、強力なノイズ除去能力を示した。
• 反復的精錬を経て、BLEUスコアは反復回数に応じて継続的に上昇し、コンテンツ保存性の継続的向上を示した。
• FORMALITYデータセットでは、最終的な擬似ペアのうち52%しか正解並列ペアと一致しなかったが、それでも優れた性能を達成しており、ノイズの多い初期アライメントに対しても高い耐性を示した。
• 人間評価では、IMaTが生成する出力が、競合モデルと比べてコンテンツをよりよく保存しており、不文法的表現を避け、ターゲット属性を正しく転送していることが確認された。
• 感情転送用に800サンプルの公開済み人間アノテートテストセットを提供したことで、今後の属性転送システムの多様かつ信頼性の高い評価が可能になった。