[論文レビュー] A Recipe For Arbitrary Text Style Transfer with Large Language Models

Emily Reif, Daphne Ippolito+4 more|arXiv (Cornell University)|Sep 8, 2021

Topic Modeling被引用数 6

ひとこと要約

本論文では、微調整やターゲットスタイルの例示が不要な大規模言語モデルによる任意のテキストスタイル転送を可能にする、拡張されたゼロショット学習というプロンプト手法を紹介する。多様な再表現例を含む単一の柔軟なプロンプトテンプレートを用いることで、標準的でないスタイル—たとえば、よりコメディックに、ドラマチックに、比喩を含めるなど—に対しても強力な性能を達成し、候補選択を用いることで人間評価による流暢さが高く、自動評価指標も向上した。

ABSTRACT

In this paper, we leverage large language models (LMs) to perform zero-shot text style transfer. We present a prompting method that we call augmented zero-shot learning, which frames style transfer as a sentence rewriting task and requires only a natural language instruction, without model fine-tuning or exemplars in the target style. Augmented zero-shot learning is simple and demonstrates promising results not just on standard style transfer tasks such as sentiment, but also on arbitrary transformations such as "make this melodramatic" or "insert a metaphor."

研究の動機と目的

• ラベル付きの平行データやスタイル固有の例示を必要とする従来のスタイル転送手法の限界を解消すること。
• 自然言語の指示のみで、ラベルフリーのゼロショットスタイル転送を可能にすることで、データおよび学習要件を削減すること。
• 感情やフォーマルさといった標準的カテゴリーにとどまらず、比喩の挿入や「バルーン」といった単語の挿入といった創造的変換を含む、スタイルの範囲を拡張すること。
• 大規模言語モデルと即座に連携できる、シンプルで制御可能かつ汎用的なプロンプトフレームワークを構築すること。

提案手法

• 本手法は、多様な変換—たとえば「より記述的」や「比喩を含める」—を含む複数の文の再表現例を含む固定されたプロンプトテンプレートを使用する。
• モデルは、目的のスタイル変更を指定する自然言語の指示を提示し、その後に変換対象の文を提示する。
• プロンプト構造により、幅広い例示的変換から学習することで、未観測のスタイルに対しても一般化できるようにする。
• 本手法は、特にGPT-3の文脈内学習能力に依存しており、微調整なしで新しいスタイル転送タスクに一般化できる。
• モデル出力は16通りの継続として生成され、候補選択が適用され、元の文とのBLEUスコアが最も高い出力を選ぶことで語彙的類似性を向上させる。
• 本手法は、感情、フォーマルさ、創造的変換を含む、標準的および非標準的スタイル転送タスクに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、ターゲットスタイルの微調整や例示が一切ない状況でも、任意のスタイルへのゼロショットテキストスタイル転送を実行できるか？
• RQ2 拡張されたゼロショット学習は、ゼロショットおよび少数ショットプロンプトと比較して、流暢さおよびスタイル転送品質の面で優れているか？
• RQ3 本手法は、比喩の挿入や「バルーン」といった単語の挿入といった非標準的・創造的なスタイル変換にも一般化可能か？
• RQ4 候補選択は、流暢さや意味の保持を損なわずに、BLEUのような自動評価指標をどの程度向上させるか？
• RQ5 本手法は、AIアシスタントテキストエディタのような実世界のユーザー向けアプリケーションで、どの程度の性能を示すか？

主な発見

• 人間評価では、拡張されたゼロショット学習が6つの非標準的スタイルで平均133/150の流暢さスコアを達成し、ゼロショットプロンプト（81）および少数ショット（110）のベースラインを顕著に上回った。
• 感情転送のタスクでは、LLM-128Bモデルで79.6％の正答率を達成し、ゼロショット（69.7％）および5ショット（83.2％）のベースラインを上回った。
• 候補選択を適用したことで、BLEUスコアが大幅に向上：拡張されたゼロショットでは16.1から49.3に、LLM-128B-dialogバージョンでは10.4から40.6に上昇した。
• 創造的変換—たとえば「よりコメディック」（平均長116文字）や「よりドラマチック」（124文字）—に対しても、高品質な出力が得られ、人間評価による流暢さも高く評価された。
• 実際のAIエディタUIにおけるユーザースタディでは、高い関与度と評価された品質が確認され、ユーザーは自然言語プロンプトを用いて多様なスタイル変更を成功裏に実行した。
• 本手法は、特定の単語の挿入や比喩の作成といった、従来の手法がカバーしないスタイルに対しても、強力な耐性を示した。