[論文レビュー] Disentangled Representations for Manipulation of Sentiment in Text

Maria Larsson, Amanda Nilsson+1 more|arXiv (Cornell University)|Dec 22, 2017

Topic Modeling参考文献 11被引用数 8

ひとこと要約

本稿では、最大平均差分（MMD）を用いて連続的な埋め込み空間内の文表現を走査することで、テキストからの感情と意味的内容を分離する手法を提案する。CNNを用いて文を符号化し、MMDに基づく走査によって感情を操作し、RNNで復号することで、トピックや核心的な意味を保持したまま、意味的に安定した感情変更済みの文を生成するモデルを構築する。

ABSTRACT

The ability to change arbitrary aspects of a text while leaving the core message intact could have a strong impact in fields like marketing and politics by enabling e.g. automatic optimization of message impact and personalized language adapted to the receiver's profile. In this paper we take a first step towards such a system by presenting an algorithm that can manipulate the sentiment of a text while preserving its semantics using disentangled representations. Validation is performed by examining trajectories in embedding space and analyzing transformed sentences for semantic preservation while expression of desired sentiment shift.

研究の動機と目的

• 文の核心的な意味やトピックを保持しつつ、自動的に文の感情を変更できるシステムの開発。
• 意味の変更を伴わずに感情などのテキスト全体の特性を制御可能な分離表現の可能性の検討。
• 感情変更後の文が意味的に安定しており、自然な表現であるかを評価する能力の検証。
• 埋め込み空間における多様体走査が、文脈的整合性を保ちつつ意味的な感情のシフトをもたらすことを実証する。

提案手法

• word2vec埋め込みを用いたCNNによる文の符号化。文の分類と文の表現を同時に学習する。
• CNNのマックスプーリング層からの特徴ベクトルを、連続的な文の表現（z）として抽出する。
• MMDを用いて、元の（例：ネガティブ）とターゲット（例：ポジティブ）の文の埋め込み間の走査方向を計算し、感情のシフトを誘導する。
• 走査方向は、ガウスカーネルを用いて特徴分布を比較するカーネル化されたMMD目的関数により計算される。
• 訓練済みのRNNが、走査された表現（z*）を自然言語の文に復号する。
• 初期段階でラベルなし文を用いて事前学習することで、意味的表現の向上を図る、共有エンコーダ・デコーダアーキテクチャを活用する。

実験結果

リサーチクエスチョン

• RQ1 分離表現を用いることで、意味的内容を保持しつつ、感情の制御的変更が可能になるか。
• RQ2 MMDに基づく走査が、感情変換中に元の文のトピックと意味をどの程度保持するか。
• RQ3 感情変更後の生成文が、文法的に受け入れられ、文脈的に整合性を保っているか。
• RQ4 異なるトピックに対して、感情クラス間を走査する際に、モデルが一般化するか。
• RQ5 元のセットとターゲットセットのトピック構成が異なる場合でも、モデルが意味的に安定した出力を生成できるか。

主な発見

• MMDに基づく走査により、文の表現における感情のシフトが成功した。ネガティブな文はポジティブなクラスタに、逆にポジティブな文はネガティブなクラスタに移動した。
• 埋め込み空間における可視化から、走査されたベクトルがターゲットの感情クラスタと整合していることが示された（例：ネガティブな映画の文がポジティブな映画のクラスタに近づいた）。
• 走査された表現から生成された文は、元のトピックとキーワードを保持しており、強い意味的保存性が示された。
• 短い文はより信頼性の高い符号化・復号が行われたため、長さがモデルの性能に影響を与える可能性がある。
• 文法的欠陥は見られたが、感情変更後の生成文は意味的に受け入れられ、文脈的に整合性があると評価された。
• モデルは、核心的なメッセージやトピックを変更せずに、意味的に意味のある感情の制御的変更を可能にする分離表現の有効性を示した。