[論文レビュー] Rethinking Text Attribute Transfer: A Lexical Analysis

Yao Fu, Hao Zhou+2 more|arXiv (Cornell University)|Sep 26, 2019

Topic Modeling参考文献 28被引用数 6

ひとこと要約

本稿では、文の属性（感情やスタイルなど）を決定づける「ピボット語」——高い影響力を持つ語——を特定・分析するための語彙的フレームワーク「ピボット分析」を紹介する。著者らは、最先端のテキスト属性転送モデルがしばしばこれらのピボット語を置き換えることでしか変更を行わず、文の構文はほとんど変化させないことを示し、現在のモデルが高次の言語的構成性を理解する能力に深刻な限界を抱えていることを明らかにする。

ABSTRACT

Text attribute transfer is modifying certain linguistic attributes (e.g. sentiment, style, authorship, etc.) of a sentence and transforming them from one type to another. In this paper, we aim to analyze and interpret what is changed during the transfer process. We start from the observation that in many existing models and datasets, certain words within a sentence play important roles in determining the sentence attribute class. These words are referred to as extit{the Pivot Words}. Based on these pivot words, we propose a lexical analysis framework, extit{the Pivot Analysis}, to quantitatively analyze the effects of these words in text attribute classification and transfer. We apply this framework to existing datasets and models and show that: (1) the pivot words are strong features for the classification of sentence attributes; (2) to change the attribute of a sentence, many datasets only requires to change certain pivot words; (3) consequently, many transfer models only perform the lexical-level modification, while leaving higher-level sentence structures unchanged. Our work provides an in-depth understanding of linguistic attribute transfer and further identifies the future requirements and challenges of this task\footnote{Our code can be found at https://github.com/FranxYao/pivot_analysis}.

研究の動機と目的

• テキスト属性転送の過程で、文の属性を決定づける主な言語的特徴を特定すること。
• 転送モデルが単に語を変更するのか、それとも文の構文構造を再編するのかも理解すること。
• 多様なテキスト属性転送データセットにわたるピボット語を定量的に特定・分析する手法を開発すること。
• 最先端モデルが転送の過程で語彙的レベルの変更に依存する程度と、構文的再編成を行う程度を評価すること。
• 現在のモデルが語彙的変更を超えて高次の言語的構成性を処理できる能力に、どのような限界があるかを明らかにすること。

提案手法

• 文の属性分類に強い影響を与える語を特定するための語彙的分析フレームワーク「ピボット分析」を提唱する。
• 統計的共起とクラス固有の語頻度分析に基づくピボット語発見アルゴリズムを開発する。
• 特定された語の属性分類に対する予測力の強さを定量化するためのピボット分類器を設計する。
• ピボット語の分布的構造を可視化するための正確性-再現率ヒストグラムを導入する。
• 2つの最先端モデル（制御生成（CG）とクロスアライメント（CA））の出力結果を分析するために、このフレームワークを適用する。
• 文の基幹部分（ステム）の前後を比較するために、マスキング付きレーヴェンシュタイン編集距離を用いる。これにより、構文の保存度を測定する。

実験結果

リサーチクエスチョン

• RQ1 どの語がピボット語として機能し、異なるデータセットにおいて文の属性分類にどのように影響を与えるか？
• RQ2 転送モデルが文の構文を変更するのではなく、ピボット語の変更に依存する程度はどの程度か？
• RQ3 異なるテキスト属性転送データセットにおけるピボット語の分布はどのように異なるか？
• RQ4 ピボット効果の強さと、そのデータセットにおける属性転送の容易さとの間にどのような関係があるか？
• RQ5 最先端モデルは属性転送の過程で文の構造をどの程度保存するのか？

主な発見

• 多くのデータセットにおいて、ピボット語は文の属性を強く予測する。特に感情転送においては、'rude' や 'good' といったキーワードの精度スコアが、ベースラインを著しく上回る（例：0.5以上）。
• CGモデルでは、Yelpデータセットで74%、Amazonデータセットで74%の転送ケースで、ピボット語をマスキングした後も文のステムが変化せず、構文の保存が確認された。
• CAモデルでは、37%の転送ケースでピボット語をマスキングした後も文のステムが同一であり、構文構造が多数のケースで維持されていることが示された。
• 一部のデータセットではピボット効果が極めて強く、少数のピボット語の変更のみで転送が達成可能であることが判明した。これは、意思決定境界が語彙的レベルにあることを示唆している。
• 洗練されたモデリングを経ても、CG や CA といった最先端モデルは主に語彙的レベルの変更に依存しており、構文的再編成は最小限に抑えられている。
• 本研究では、識別可能なピボット語のないケースは、より深い構文的・意味的理解を必要としており、今後のモデル開発における重要な課題であることが明らかになった。