[論文レビュー] Training Language Models with Language Feedback

Jérémy Scheurer, Jon Ander Campos+4 more|arXiv (Cornell University)|Apr 29, 2022

Topic Modeling被引用数 11

ひとこと要約

本論文は、ペairワイズ比較ではなく自然言語フィードバックを用いて言語モデルをファインチューニングする3段階の手法を提案している。この手法により、初期出力を人間のフィードバックに基づいて改善することで、高品質な出力を生成できる。わずか100件の人が書いたフィードバック例のみを用いても、GPT-3（175Bパラメータ）が人間レベルの要約性能を達成しており、大規模モデルが詳細なフィードバックを効果的に取り入れて出力品質を向上させられることを示している。

ABSTRACT

Pretrained language models often do not perform tasks in ways that are in line with our preferences, e.g., generating offensive text or factually incorrect summaries. Recent work approaches the above issue by learning from a simple form of human evaluation: comparisons between pairs of model-generated task outputs. Comparison feedback conveys limited information about human preferences per human evaluation. Here, we propose to learn from natural language feedback, which conveys more information per human evaluation. We learn from language feedback on model outputs using a three-step learning algorithm. First, we condition the language model on the initial output and feedback to generate many refinements. Second, we choose the refinement with the highest similarity to the feedback. Third, we finetune a language model to maximize the likelihood of the chosen refinement given the input. In synthetic experiments, we first evaluate whether language models accurately incorporate feedback to produce refinements, finding that only large language models (175B parameters) do so. Using only 100 samples of human-written feedback, our learning algorithm finetunes a GPT-3 model to roughly human-level summarization ability.

研究の動機と目的

• ペairワイズ比較フィードバックの制限を解消する。これは、人間の評価ごとに最小限の情報しか伝わらないためである。
• 自然言語フィードバック（詳細が豊富）が、言語モデルの出力と人間の好みの整合性を高められるかどうかを検討する。
• 人間が書いたフィードバックを用いて、スケーラブルで強化学習を用いない言語モデルのファインチューニング手法を開発する。
• 大規模言語モデルが、複雑なフィードバックを正確に解釈し、出力を改善する能力があるかどうかを評価する。

提案手法

• 入力、初期出力、および人間が書いたフィードバックを条件として、大規模言語モデルに複数の改善出力を生成させる。
• フィードバックとの埋め込み類似度に基づいて各改善出力をスコア付けし、最もスコアが高いものを選択する。
• 選択された改善出力を訓練データとして用い、入力に対してそれらを生成する確率を最大化するように言語モデルをファインチューニングする。
• 3段階のパイプラインを用いる：改善出力の生成、フィードバックに配慮した選択、教師ありファインチューニング。
• 大規模モデルの指示従い能力を活用し、自然言語フィードバックを解釈して対応する。
• 強化学習や補助損失を避けることで、自然言語フィードバックを直接適用可能にする。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルは、詳細な自然言語フィードバックを正確に取り入れ、出力を改善できるか？
• RQ2 特に制御された合成タスクにおいて、モデルサイズに応じてフィードバックの取り込み性能はどのように変化するか？
• RQ3 人間が書いたフィードバック例がわずか100件程度でも、要約タスクで人間レベルの性能に到達できるか？
• RQ4 フィードバックに配慮した改善出力選択は、ベースラインやフィードバック無しの方法と比較して、出力品質をどの程度向上させるか？
• RQ5 言語モデルが生成する改善出力は、人間のフィードバックの意図と内容をどの程度反映しているか？

主な発見

• 合成された攻撃的単語削除タスクにおいて、唯一175Bパラメータを持つ最大のGPT-3モデルが、正確にフィードバックを反映しており、改善出力の正確度は38.5%であった。
• より小さなモデル（例：Ada、Babbage、Curie）は顕著に低い正確度を示し、平均で2.5%未満であった。
• わずか100件の人が書いたフィードバック例を用いても、人間評価者による選好が51%のケースで人間基準に近い要約品質を達成した。
• 改善出力生成段階では、フィードバックをうまく組み込み、特に複数の候補から類似度が最も高い出力を選択することで効果を発揮した。
• 本手法は、ベースラインのモデル出力やフィードバックに依存しない改善出力よりも優れており、定性的な例でもフィードバックに基づいた改善出力が初期要約で欠落していた重要な情報を含んでいた。
• 分析により、埋め込み類似度がフィードバックと整合する改善出力を効果的に特定できており、選択戦略の妥当性が裏付けられた。