[論文レビュー] What is wrong with style transfer for texts?

Alexey Tikhonov, Ivan P. Yamshchikov|arXiv (Cornell University)|Aug 13, 2018

Topic Modeling参考文献 10被引用数 11

ひとこと要約

この論文は、テキストスタイル変換における合意の欠如を批判し、3つの flawed なパラダイム（即効的スタイル指標、NMTに基づく並列コーパス、NMT後のゼロショット手法）を特定する。スタイルを意味と直交するものとして形式化し、意味的距離とスタイル的距離を分離する損失関数を用いることで、明示的なスタイル定義なしに有効なスタイル変換を可能にする。

ABSTRACT

A number of recent machine learning papers work with an automated style transfer for texts and, counter to intuition, demonstrate that there is no consensus formulation of this NLP task. Different researchers propose different algorithms, datasets and target metrics to address it. This short opinion paper aims to discuss possible formalization of this NLP task in anticipation of a further growing interest to it.

研究の動機と目的

• 最近のNLP研究におけるテキストスタイル変換の形式的定式化が分散・一貫性のない状態にあることの特定と批判。
• 即効的、NMTに基づく、NMT後のアプローチを区別し、それらの根本的な欠陥を強調する。
• スタイルは感情や事前に定義されたカテゴリに還元できるものではなく、意味とは直交する潜在的次元として扱われるべきだと主張する。
• 意味的・スタイル的分離に基づく、埋め込み空間における距離測度を用いたスタイル変換の形式的フレームワークを提唱する。
• スタイルが意味的コンテンツに依存しないことを保証する、有効なスタイル変換タスクの基準を確立する。

提案手法

• 意味的・スタイル的空間における潜在的スタイル次元に沿った平行なシフトとしてスタイル変換を形式化する。
• 全損失を、意味的距離 $ D_{\mathbb{R}^n}(X,\tilde{X}) $ とスタイル的距離 $ D_S(X,\tilde{X}) $ の和として定義し、スタイル空間 $ S $ に構造を課さない。
• $ \mathbb{R}^n \otimes \mathbb{S} $ 内の文表現を用い、 $ \mathbb{R}^n $ は意味的埋め込み空間、 $ \mathbb{S} $ はスタイル次元を表す。
• 明示的なスタイルラベルや並列コーパスを必要とせず、コーパスレベルの探索によってスタイル分布を定義する。
• スタイルは意味と直交しているべきであることを強調する：任意の意味的コンテンツが任意のスタイルで表現可能でなければならない。
• スタイルの明示的分解を避けるために、ソースとターゲットのスタイル分布間の集団レベルのマッチングを利用する。

実験結果

リサーチクエスチョン

• RQ1 なぜ、研究関心が高まる一方で、テキストスタイル変換の定義に合意が得られていないのか？
• RQ2 感情や分類器によるカテゴリ的特徴でスタイルを定義する即効的アプローチは、なぜ包括的なスタイル意味を捉えられていないのか？
• RQ3 意味が一致し、スタイルが異なる並列コーパスが不足する状況では、NMTベースの手法はどの程度一般化可能なのか？
• RQ4 NMT後の手法は並列データがなくても有効なスタイル変換を達成できるのか？また、それらが直面する制約は何か？
• RQ5 スタイル変換タスクが有効で意味のあるものと見なされるために満たすべき形式的基準は何か？

主な発見

• 感情や特定の言語的特徴をスタイルとみなす即効的アプローチは、任意で非直交的なスタイルと意味の分解を強いるため失敗する。
• NMTベースの手法は、意味が一致しスタイルが異なる並列コーパスの不足により制限を受けるため、人的労力が多くかかり、スケーラビリティに欠ける。
• NMT後の手法は並列データの必要性を回避するが、依然として意味と独立した方法でスタイルを定義することが難しい。
• 提案された形式化により、スタイルが意味と直交することが保証され、任意の意味的コンテンツが任意のスタイルで表現可能になる。
• 損失関数 $ \mathcal{L}_{total}(X,\tilde{X}) = D_{\mathbb{R}^n}(X,\tilde{X}) + D_S(X,\tilde{X}) $ は、スタイル空間に事前の構造を仮定せずに、有効なスタイル変換を可能にする。
• 事前に定義されたスタイル属性に依存しないため、即効的指標の落とし穴を避ける。代わりに、共有表現空間における分布マッチングによってスタイルを学習する。