[論文レビュー] Controllable Unsupervised Text Attribute Transfer via Editing Entangled Latent Representation

Ke Wang, Hang Hua+1 more|arXiv (Cornell University)|May 30, 2019

Topic Modeling参考文献 42被引用数 44

ひとこと要約

本論文は、Transformerベースのオートエンコーダを提案し、テキストの絡み合った潜在表現を学習し、Fast-Gradient-Iterative-Modification (FGIM) アルゴリズムを用いてそれを編集し、マルチ属性および度合い制御機能を含む、監視なしで制御可能なテキスト属性転送を実現する。

ABSTRACT

Unsupervised text attribute transfer automatically transforms a text to alter a specific attribute (e.g. sentiment) without using any parallel data, while simultaneously preserving its attribute-independent content. The dominant approaches are trying to model the content-independent attribute separately, e.g., learning different attributes' representations or using multiple attribute-specific decoders. However, it may lead to inflexibility from the perspective of controlling the degree of transfer or transferring over multiple aspects at the same time. To address the above problems, we propose a more flexible unsupervised text attribute transfer framework which replaces the process of modeling attribute with minimal editing of latent representations based on an attribute classifier. Specifically, we first propose a Transformer-based autoencoder to learn an entangled latent representation for a discrete text, then we transform the attribute transfer task to an optimization problem and propose the Fast-Gradient-Iterative-Modification algorithm to edit the latent representation until conforming to the target attribute. Extensive experimental results demonstrate that our model achieves very competitive performance on three public data sets. Furthermore, we also show that our model can not only control the degree of transfer freely but also allow to transfer over multiple aspects at the same time.

研究の動機と目的

• 並列データなしで柔軟な監視なしテキスト属性転送を動機づける。
• 属性に依存しない内容を保持しつつ、目標属性への適合を達成する。
• 生成テキストの流暢さと自然さを維持する。
• 属性転送の度合いと複数属性転送の制御を可能にする。

提案手法

• テキストの絡み合った潜在表現を学習するために、Transformerベースのオートエンコーダを構築する。
• 潜在コード上に別個の属性分類器を訓練し、編集を指針とする。
• 属性転送を、分類器がターゲット属性を割り当てる最も近い z' を z に見つける問題として定式化する。
• 分類器からの勾配方向を用いて、Fast-Gradient-Iterative-Modification (FGIM) アルゴリズムで潜在コード z を編集する。
• 編集済み潜在表現からオートエンコーダのデコーダを用いて目標テキストをデコードする。
• 再構成バイアスを改善するためにオートエンコーダ損失にラベルスムージングを用いる。
• 局所最適解を避けるために、多重試行・減衰ベースの戦略で編集重みを動的に選択する。

実験結果

リサーチクエスチョン

• RQ1 絡み合った潜在表現は、内容とスタイルを分離せずに制御可能な属性転送を支援できるか。
• RQ2 勾配ベースの潜在空間編集手法は、内容を保持しつつ、正確で流暢な属性転送を達成できるか。
• RQ3 複数属性および調整可能な度の転送は、既存の分離ベース手法より柔軟性を高めるか。

主な発見

手法	Yelp 精度	Yelp BLEU	Yelp PPL	Amazon 精度	Amazon BLEU	Amazon PPL	Captions 精度	Captions BLEU	Captions PPL
CrossAlign [28]	72.3%	9.1	50.8	70.3%	1.9	66.2	78.3%	1.8	69.8
MultiDec [5]	50.2%	14.5	84.5	67.3%	9.1	60.3	68.3%	6.6	60.2
StyleEmb [5]	10.2%	21.1	47.9	43.6%	15.1	60.1	56.2%	8.8	57.1
CycleRL [38]	53.6%	18.8	98.2	52.3%	14.4	183.2	45.2%	5.8	50.3
BackTrans [26]	93.4%	2.5	49.5	84.6%	1.5	48.3	78.3%	1.6	68.3
RuleBase [17]	80.3%	22.6	66.6	67.8%	33.6	52.1	85.3%	19.2	35.6
DelRetrGen [17]	88.8%	16.0	49.6	51.2%	29.3	55.4	90.4%	12.0	33.4
UnsupMT [41]	95.2%	22.8	53.9	84.2%	33.9	57.9	95.5%	12.7	31.2
Ours	95.4%	24.6	46.2	85.3%	34.1	47.4	92.3%	17.6	23.7

• 本モデルは、3つのデータセットで自動指標（Acc、BLEU、PPL）において、8つのベースラインと比較して競争力があるか、あるいは上回る成績を達成する。
• 属性精度と流暢さが高く、内容保持も高く人間評価で強いとされる。
• 複数の側面にまたがる属性転送をサポートし、編集重みを介して転送度を変化させることができる。
• ビールレビューのデータセットでの多面的感情転送は、外観、香り、味覚、味、および総合の各側面で高い精度を示す。
• 本手法は、いくつかのベースラインより流暢さと内容をより良く保持しつつ、強い転送を達成する。