[論文レビュー] TextSETTR: Label-Free Text Style Extraction and Tunable Targeted Restyling

Parker Riley, Noah Constant+4 more|arXiv (Cornell University)|May 4, 2021

Topic Modeling被引用数 8

ひとこと要約

TextSETTR は、T5 を用いてラベルなしテキスト内の隣接する文からスタイルベクトルを抽出するラベルフリーなテキストスタイル変換手法を提案する。特定のスタイル属性を操作することで、的を射たスタイル変更が可能である。ラベルなしデータで学習された本手法は、分類ごとに4つの例えびきのみで競争力あるセンチメント転送を達成し、センチメント、フォーマリティ、方言といった複数のスタイル次元に一般化する。

ABSTRACT

We present a novel approach to the challenging problem of label-free text style transfer. Unlike previous approaches that use parallel or non-parallel labeled data, our technique removes the need for labels entirely, relying instead on the implicit connection in style between adjacent sentences in unlabeled text. We show that T5 (Raffel et al., 2020), a strong pretrained text-to-text model, can be adapted to extract a style vector from arbitrary text and use this vector to condition the decoder to perform style transfer. As the resulting learned style vector space encodes many facets of textual style, we recast transfers as targeted restyling vector operations that adjust specific attributes of the input text while preserving others. When trained over unlabeled Amazon reviews data, our resulting TextSETTR model is competitive on sentiment transfer, even when given only four exemplars of each class. Furthermore, we demonstrate that a single model trained on unlabeled Common Crawl data is capable of transferring along multiple dimensions including dialect, emotiveness, formality, politeness, and sentiment.

研究の動機と目的

• ラベル付きの平行または非平行データを一切必要としないテキストスタイル変換の課題に対処すること。
• 隣接する文間の暗黙的なスタイル関連性を活用することで、ラベルなしテキストから分離可能なスタイルベクトル空間を学習すること。
• コンテンツや他の属性を保持したまま、特定のスタイル属性を操作することで的を射た再スタイル化を可能にすること。
• 分類ごとに4つの例えびきのみで、センチメント転送において優れた少サンプル性能を示すこと。
• 複数のスタイル次元にわたる転送が可能な1つのモデルを、ラベルなし Common Crawl データで学習すること。

提案手法

• 隣接する文の潜在表現を用いて、T5 をテキスト対テキストモデルとして活用し、入力テキストからスタイルベクトルを抽出する。
• 抽出されたスタイルベクトルをデコーダーの条件付けに用い、特定のスタイル属性の制御を可能にする。
• 学習されたスタイル空間におけるベクトル演算としてスタイル変換を扱い、センチメントやフォーマリティといった属性への的を射た調整を可能にする。
• 文レベルのスタイル一貫性に起因する自己教師学習に依存して、ラベルなしデータ上でモデルをエンドツーエンドに学習する。
• 明示的なラベルなしに、方言、感情表現、フォーマリティ、丁寧さ、センチメントといった複数のスタイル次元に適用する。
• 隣接する文間のスタイル一貫性を促進するための対照学習目的関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 隣接する文間の暗黙的なスタイル信号を活用することで、ラベルなしデータを用いて効果的なスタイル変換が可能になるか？
• RQ2 1つのモデルが、分類ごとに4つの例えびきのみで、センチメント、フォーマリティ、方言といった多様なスタイル次元に一般化可能か？
• RQ3 コンテンツや他の属性を保持したまま、特定の属性を操作可能な的を射たスタイル変換はどの程度達成可能か？
• RQ4 特に分類ごとに4つの例えびきのみで、少サンプル設定においてどの程度の性能を示すか？
• RQ5 ラベルなしデータから、分離可能で制御可能なスタイル編集を可能にする統一されたスタイルベクトル空間を学習可能か？

主な発見

• TextSETTR は、分類ごとに4つの例えびきのみでセンチメント転送において競争力ある性能を達成し、優れた少サンプル一般化能力を示した。
• モデルは、ラベルなし Common Crawl データで学習された後、センチメント、フォーマリティ、丁寧さ、感情表現、方言といった複数のスタイル次元に一般化した。
• 学習されたスタイルベクトル空間により、コンテンツや他のスタイル的特徴を保持したまま、特定の属性を操作することで的を射た再スタイル化が可能になった。
• モデルは完全にラベルなしデータに依存しており、トレーニングに平行または非平行なラベル付きデータを必要としなかった。
• 隣接する文間の暗黙的なスタイル信号が、スタイル表現学習に効果的に活用可能であることが示された。
• 明示的なスタイルラベルの監視なしに、自己教師学習の有効性が顕著に示された。