[論文レビュー] Align on the Fly: Adapting Chatbot Behavior to Established Norms

Chunpu Xu, Steffi Chern+7 more|arXiv (Cornell University)|Dec 26, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、大規模言語モデル（LLM）の行動を微調整なしに制約するための、外部メモリに保存された法的・道徳的規範を用いるリアルタイムな整合性手法であるOn-the-fly Preference Optimization（OPO）を提案する。体系的に整備されたコーパスから関連する規範を検索し、プロンプト工学を用いて適用することで、法的・道徳的ベンチマークにおけるLLMの性能が著しく向上し、A-Professional-Moralityで最大11.2%の向上を達成した。

ABSTRACT

In this paper, we aim to align large language models with the ever-changing, complex, and diverse human values (e.g., social norms) across time and locations. This presents a challenge to existing alignment techniques, such as supervised fine-tuning, which internalize values within model parameters. To overcome this, we propose an On-the-fly Preference Optimization (OPO) method, which is a real-time alignment that works in a streaming way. It employs an external memory to store established rules for alignment, which can constrain LLMs' behaviors without further training, allowing for convenient updates and customization of human values. We also introduce a scalable evaluation to assess the proposed method more effectively. Experimental results on both human-annotated and auto-generated questions from legal and moral domains indicate the effectiveness of the proposed OPO method. Our code and data are released at https://github.com/GAIR-NLP/OPO.

研究の動機と目的

• 社会的規範や法的規制など、動的で多様かつ文脈依存的な人間の価値観にLLMを整合させる課題に対処すること。
• SFT や RLHF といったパラメータベースの整合性手法に伴う計算コストの高さや価値観の変化に柔軟に対応できないという限界を克服すること。
• 微調整なしに容易に更新・カスタマイズ可能なスケーラブルでリアルタイムの整合性フレームワークを構築すること。
• ベンチマークの漏洩を回避し、自動テスト生成によって整合済み規範のカバレッジを向上させる評価プロトコルを設計すること。
• 外部化された規範の検索が、複雑な現実世界の道徳的・法的推論シナリオにおけるLLM行動を効果的に指導できることを実証すること。

提案手法

• OPOフレームワークは、権威ある出典から収集した構造化された法的・道徳的規範を格納する外部メモリを用い、LLM出力に対する動的制約として機能する。
• 各入力クエリに対して、コサイン類似度に基づく密度ベクトル埋め込みとFAISSを用いた検索により、意味的に類似した規範を抽出する。
• 抽出された規範は、LLMのプロンプトに文脈として埋め込まれ、モデルの微調整なしに確立された規範に整合した出力生成を促進する。
• 強力なLLMとプロンプトを用いて規範から自動的に複数選択式の質問を生成するスケーラブルな評価モジュールを導入し、テストカバレッジを拡大するとともに漏洩リスクを低減する。
• ストリーミング形式で動作するため、新規または変更された規範に即座に適応可能なオンザフライの適応が可能である。
• 規範の保存、検索、推論を分離することで、再トレーニングなしに価値観のモジュラーな更新とカスタマイズが可能である。

Figure 1: Comparisons between internalized alignment and externalized alignment. The internalized alignment requires annotated data to align LLMs with human values by training LLMs with SFT or RLHF methods. Our proposed externalized alignment retrieves certain values from an external text corpus to

実験結果

リサーチクエスチョン

• RQ1 微調整なしに、外部の規範メモリを用いてリアルタイムで変化する人間の価値観にLLMを効果的に整合させることができるか？
• RQ2 SFT や RLHF といった内部統合型のアプローチと比較して、検索ベースの規範適用は性能と柔軟性においてどのように異なるか？
• RQ3 自動テスト生成は、整合性評価のカバレッジと耐性をどの程度向上させられるか？
• RQ4 検索長さが、複雑な推論タスクにおけるOPOのパフォーマンスにどのように影響するか？
• RQ5 OPOは、法、基本的道徳、職業倫理といった多様な分野に一般化可能か？

主な発見

• OPOはA-Professional-MoralityにおけるLLM性能を顕著に向上させ、XuanYuan-70Bは1500トークンのコンテキストで94.16%の正確度を達成し、ベースモデル比で10.7%の向上を示した。
• H-Social-Moralityでは、すべてのLLMがOPOにより顕著なパフォーマンス向上を示し、複雑で文脈依存的な社会的規範の処理における有効性が裏付けられた。
• パフォーマンスは中程度の検索長（例：1000–1500トークン）でピークに達し、長すぎるコンテキストはノイズを引き起こし推論性能を低下させる可能性があることが示唆された。
• 規範から自動生成された質問は、A-Lawにおいて人為的アノテーションの質問よりもLLMのパフォーマンスを向上させた。これは、GPT-4が比較的単純な分野ではベンチマーク品質の質問を効果的にシミュレートできることを示している。
• OPOはすべてのデータセットでベースモデルを一貫して上回り、タスクやモデルに応じて3.4%から11.2%の向上を示した。
• OPOとオラクル規範パフォーマンスの差は、現在のパイプラインにおける検索モデルの改善余地があることを示しており、主なボトルネックであることが明らかになった。

Figure 2: The proposed On-the-fly Preference Optimization (OPO) framework.