[論文レビュー] "Mask and Infill" : Applying Masked Language Model to Sentiment Transfer

Xing Wu, Tao Zhang+3 more|arXiv (Cornell University)|Aug 21, 2019

Topic Modeling参考文献 21被引用数 15

ひとこと要約

本稿では、非並列なセンチメント転送のための2段階の「マスクと補填」フレームワークを提案する。事前学習済みマスキング言語モデル（BERT）を活用することで、コンテンツを保持しつつセンチメントを転送する。まずセンチメントを示すトークンをマスクし、次に文脈とターゲットセンチメントを条件として、属性条件付きマスキング言語モデル（AC-MLM）を用いて補填生成を行うことで、自動評価および人的評価の両面で最先端の性能を達成した。従来のRNNベースのモデルに比べ、コンテンツ保持性とセンチメント正確性の両面で優れている。

ABSTRACT

This paper focuses on the task of sentiment transfer on non-parallel text, which modifies sentiment attributes (e.g., positive or negative) of sentences while preserving their attribute-independent content. Due to the limited capability of RNNbased encoder-decoder structure to capture deep and long-range dependencies among words, previous works can hardly generate satisfactory sentences from scratch. When humans convert the sentiment attribute of a sentence, a simple but effective approach is to only replace the original sentimental tokens in the sentence with target sentimental expressions, instead of building a new sentence from scratch. Such a process is very similar to the task of Text Infilling or Cloze, which could be handled by a deep bidirectional Masked Language Model (e.g. BERT). So we propose a two step approach "Mask and Infill". In the mask step, we separate style from content by masking the positions of sentimental tokens. In the infill step, we retrofit MLM to Attribute Conditional MLM, to infill the masked positions by predicting words or phrases conditioned on the context1 and target sentiment. We evaluate our model on two review datasets with quantitative, qualitative, and human evaluations. Experimental results demonstrate that our models improve state-of-the-art performance.

研究の動機と目的

• 同じ内容で異なるセンチメントを持つ文のペaired例が存在しない非並列テキストにおけるセンチメント転送の課題に対処すること。
• RNNベースのエンコーダデコーダモデルが長距離依存関係を捉えられず、流暢で意味的に一貫性のある文を生成できないという限界を克服すること。
• 事前学習済みの深層双方向言語モデルを活用することで、コンテンツ保持性とセンチメント転送正確性を向上させること。
• 完全に再書き直すのではなく、人間が行うようなスタイルのセンチメント変換——つまり、センチメントマーカーのみを置き換える——を模倣する手法を開発すること。
• 属性条件付きと識別的制約をマスキング言語モデルに統合し、より正確で的を射たセンチメント転送を実現すること。

提案手法

• 本手法は2段階構成である。まず、注意に基づく分類と頻度比辞書照合の融合手法を用いて、センチメントを示すトークンを特定しマスクする。
• 補填段階では、事前学習済みマスキング言語モデルを、文脈とターゲットセンチメント埋め込みを条件として与える属性条件付きマスキング言語モデル（AC-MLM）に再設計する。
• AC-MLMは、生成された語がターゲットセンチメントと整合するように、事前学習済みセンチメント分類器を識別器として用いてさらに精練する。
• 言語生成の離散的性質に対応するため、訓練中にソフトサンプリングを適用し、最適化の安定性を向上させる。
• 融合手法は、注意ベースと頻度比マスキングの両方が有効でない場合に、動的にどちらの方法を採用するかを決定する。
• 再構成損失（文脈的な流暢さ）と識別的損失（センチメント正確性）を組み合わせた損失関数を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みBERTベースのモデルを用いたマスキングと補填が、並列学習データが存在しない状況で、RNNベースのエンコーダデコーダモデルを上回る性能を発揮できるか？
• RQ2 注意ベースと頻度比技術の融合手法が、コンテンツ保持を保ちつつ、どの程度効果的にセンチメントマーカーを特定できるか？
• RQ3 ターゲットセンチメントに条件づけたマスキング言語モデルが、転送正確性とコンテンツ保持性をどの程度向上できるか？
• RQ4 事前学習済みセンチメント分類器の統合が、生成されたセンチメント語の質と一貫性をどの程度向上させるか？
• RQ5 センチメント正確性と文の流暢さ／多様性のトレードオフはどのようなものか？また、損失重みの調整によってそのバランスを制御可能か？

主な発見

• Yelpデータセットにおいて、融合ベースのマスキング手法を用いたAC-MLM-SSモデルは、人的評価で最高得点を記録した。文法的整合性が4.2、コンテンツ保持性が4.0、ターゲット属性一致度が4.4であった。
• Yelpデータセットでは、AC-MLM-SSモデルがBLEUスコア4.2を達成し、従来の最先端モデルであるDeleteAndRetrieval（3.6 BLEU）を顕著に上回った。
• Amazonデータセットでは、AC-MLM-SSモデルがBLEUスコア4.1を達成し、ベースラインモデルに対して一貫した改善を示した。
• モデルは強力なコンテンツ保持性を示し、人的アノテーターによる評価でYelpではコンテンツ類似度4.0、Amazonでも4.0と評価され、意味的ずれが最小限に抑えられた。
• アブレーションスタディの結果、融合ベースのマスキング手法が、個別の注意ベースおよび頻度比手法を上回ることが確認された。特にノイズが多く構造の薄いAmazonデータに対して顕著であった。
• トレードオフ分析から、ハイパーパrameter ηの調整により、BLEUスコアとセンチメント正確性のバランスを制御可能であることが示され、モデルのチューナブルな性能が裏付けられた。