[論文レビュー] SteerLM: Attribute Conditioned SFT as an (User-Steerable) Alternative to RLHF

Yi Dong, Zhilin Wang+3 more|arXiv (Cornell University)|Oct 9, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

SteerLM は、強化学習による人間のフィードバック（RLHF）を用いずに、属性条件付きの教師あり微調整（SFT）を用いて、ユーザーが応答の属性（例：ユーモア、毒性）をリアルタイムで制御できる言語モデルの整合性手法を提案する。これは、Vicunaベンチマークで最先端の性能を達成しており、ChatGPT-3.5 などの RLHF ベースのモデルを上回っている。一方で、トレーニングの単純さとランタイムにおけるカスタマイズ性が優れている。

ABSTRACT

Model alignment with human preferences is an essential step in making Large Language Models (LLMs) helpful and consistent with human values. It typically consists of supervised fine-tuning (SFT) and reinforcement learning from human feedback (RLHF) stages. However, RLHF faces inherent limitations stemming from a complex training setup and its tendency to align the model with implicit values that end users cannot control at run-time. Moreover, reward models in RLHF stage commonly rely on single-dimensional feedback as opposed to explicit, multifaceted signals that indicate attributes such as helpfulness, humor, and toxicity. To address these limitations, we propose SteerLM, a supervised fine-tuning method that empowers end-users to control responses during inference. SteerLM conditions responses to conform to an explicitly defined multi-dimensional set of attributes, thereby empowering a steerable AI capable of generating helpful and high-quality responses while maintaining customizability. Experiments show that SteerLM trained on open source datasets generates responses that are preferred by human and automatic evaluators to many state-of-the-art baselines trained with RLHF while being much easier to train. Try SteerLM at https://huggingface.co/nvidia/SteerLM-llama2-13B

研究の動機と目的

• RLHF の限界、すなわち複雑なトレーニング、ランタイム制御の欠如、一様な好み信号の問題を是正すること。
• 多様な属性条件を用いた、高品質な応答を維持しつつ、より単純でスケーラブルな RLHF の代替策を開発すること。
• ユーザーがユーモアや毒性といった属性を調整可能に設定できるように、ランタイムでのモデル行動制御を可能にすること。
• 予測された属性に条件づけられた SFT が、標準ベンチマークで RLHF の性能を同等または上回ることを示すこと。
• オープンソースでユーザーが制御可能な微調整を用いて、カスタマイズ可能で高品質かつ制御可能な AI アシスタントを実現すること。

提案手法

• Open-Assistant データセット内の応答テキストペアから、多様な属性（例：有用性、ユーモア、毒性）を予測する属性予測モデルを訓練する。
• 教師あり学習のため、プロンプトとそれに対応する応答およびその予測された属性をペアにした微調整データセットを構築する。
• 標準的な言語モデル学習目的を用い、推論時に入力プロンプトと望ましい属性値の両方に条件づけて言語モデルを微調整する。
• トレーニング中に、ノイズ除去済みで多様かつ高品質な応答例を含むデータ拡張戦略を導入し、モデルの頑健性と品質を向上させる。
• 再トレーニングなしに、ユーザーが属性値（例：毒性に対して 0–9）を指定可能にすることで、ランタイム推論制御を可能にする。
• NVIDIA NeMo ツールキットを用いて、オープンソース実装とトレーニングの再現性を確保する。

実験結果

リサーチクエスチョン

• RQ1 属性条件付き SFT は、複雑な報酬モデリングを伴わずに、RLHF ベースのモデルを上回る応答品質と人間の好みを達成できるか？
• RQ2 再トレーニングなしに、推論時にユーモアや毒性といった特定の属性を制御できるか？
• RQ3 一様な報酬信号ではなく、多様な属性に条件づけることで、モデルの整合性が単一次元の報酬信号を上回るか？
• RQ4 Vicuna ベンチマークにおいて、SteerLM は最先端の RLHF モデルと比較してどの程度の性能を示すか？
• RQ5 完全に SFT に依存するアプローチが、RLHF よりも単純かつアクセスしやすく、競争力のある性能を達成できるか？

主な発見

• SteerLM 43B は、自動評価および人間評価の両方において、ChatGPT-3.5 などの最先端のベースラインを上回り、Vicuna ベンチマークで優れた性能を示した。
• 人間評価者により、SteerLM の応答が RLHF モデルの応答よりも好まれたことが確認され、人間の好みとの高い整合性が示された。
• デフォルト値（0）に設定した場合、SteerLM 43B の毒性スコアは Anthropic Red Team データセットで 0.06346 であり、ChatGPT-3.5 の 0.06622 よりもわずかに低かった。
• 毒性属性を 0 から 9 に引き上げると、Perspective API の毒性スコアは 0.06346 から 0.10408 に上昇し、効果的な制御が可能であることが実証された。
• ユーモアを 9 に設定した場合、SteerLM はジョークや遊び心ある発言を生成するが、6 以下の値ではジョークでない応答が得られ、ユーモアの制御が可能であることが確認された。
• 多様なプロンプト（例：「1日を有意義に過ごす良い方法は？」）に対しても、高品質で役立つ応答を維持し、属性設定に応じてトーンを適応的に変更できる。