[論文レビュー] From Instructions to Intrinsic Human Values -- A Survey of Alignment Goals for Big Models

Jing Yao, Xiaoyuan Yi+3 more|arXiv (Cornell University)|Aug 23, 2023

Topic Modeling被引用数 5

ひとこと要約

この論文は、大規模言語モデル（LLMs）のアライメント目標について概説し、人間の指示から人間の好みへ、最終的には人間の内的価値へとその進化をたどる。LLMsを、役立つ、誠実で、害のないといったコアな人間の価値と一致させることは、最も本質的で持続可能な目標であると主張し、強固で価値に基づくアライメントを達成するための主な課題とリソースを特定する。

ABSTRACT

Big models, exemplified by Large Language Models (LLMs), are models typically pre-trained on massive data and comprised of enormous parameters, which not only obtain significantly improved performance across diverse tasks but also present emergent capabilities absent in smaller models. However, the growing intertwining of big models with everyday human lives poses potential risks and might cause serious social harm. Therefore, many efforts have been made to align LLMs with humans to make them better follow user instructions and satisfy human preferences. Nevertheless, `what to align with' has not been fully discussed, and inappropriate alignment goals might even backfire. In this paper, we conduct a comprehensive survey of different alignment goals in existing work and trace their evolution paths to help identify the most essential goal. Particularly, we investigate related works from two perspectives: the definition of alignment goals and alignment evaluation. Our analysis encompasses three distinct levels of alignment goals and reveals a goal transformation from fundamental abilities to value orientation, indicating the potential of intrinsic human values as the alignment goal for enhanced LLMs. Based on such results, we further discuss the challenges of achieving such intrinsic value alignment and provide a collection of available resources for future research on the alignment of big models.

研究の動機と目的

• 大規模言語モデル（LLMs）の開発を導く根本的なアライメント目標を特定・分析すること。
• 表面的指示からより深い人間の価値へと進化するアライメント目標の変遷を調査すること。
• 内的人間価値がLLMアライメントの最も本質的で持続可能な目標であると主張すること。
• LLMsにおける安定的かつ効果的で包括的な価値アライメントを達成する際の課題を強調すること。
• 今後のLLMアライメント研究を支援する公開リソースのキュレートリストを提供すること。

提案手法

• 既存のアライメント研究を包括的にサーベイし、アライメント目標を3段階に分類する：人間の指示、人間の好み、人間の価値。
• 文献の体系的レビューを用いて、これらの3段階におけるアライメント目標の定義と評価を分析する。
• タスク特化の指示から一般化された好みへ、最終的に内的価値へと至るアライメント目的の進化をたどる。
• コンstitutional AIとインライン学習が、直接的な価値アライメントへの有望な道筋であると提言するが、現在の代理のデモンストレーション依存性に制限があると指摘する。
• 複数の難易度レベルにわたるアライメントを評価する自動的でスケーラブルかつ包括的なベンチマークの必要性を強調する。
• 行動的信号の間接的最適化ではなく、価値原理そのものに直接最適化するアライメントアルゴリズムの必要性を特定する。

実験結果

リサーチクエスチョン

• RQ1 現在のLLM研究で主に使われている主なアライメント目標は何か。また、それらは時間とともにどのように進化してきたか？
• RQ2 なぜLLMsを内的人間価値とアライメントさせることは、指示や好みとアライメントさせることよりも、より本質的で持続可能とされるのか？
• RQ3 LLMsにおける内的人間価値との安定的かつ効果的なアライメントを達成する際の主な課題は何か？
• RQ4 道徳的ジレンマを含む多様な価値関連シナリオにおいて、アライメントを包括的かつ自動的に評価する方法は何か？
• RQ5 コアな人間の価値とLLMsをアライメントさせるための今後の研究を支援する方法とリソースは何か？

主な発見

• アライメント目標は、表面的指示から広範な人間の好みへ、最終的には役立つ、誠実で、害のないといった内的価値へと進化してきた。
• 人間のフィードバックやデモンストレーションといった代理信号に依存するのではなく、内的価値との直接的アライメントが、より強固で持続可能である。
• 人間によるアノテーションに大きく依存するため、現在の評価ベンチマークは高コストでスケーラブルでない。自動的で信頼性の高いメトリクスの必要性が浮き彫りになる。
• 強化学習による人間フィードバック（RLHF）と監視付き微調整（SFT）は、データノイズと価値次元の不完全なカバー性のため、安定した価値アライメントに不十分である。
• 明示的に定義された価値原理を用いて訓練データを生成することで、コンstitutional AIは有望な道筋を示しているが、モデルは依然として原理を内省するのではなく、デモンストレーションから学習している。
• 今後のアライメントアルゴリズムは、価値原理そのものに直接アライメントさせ、文化的・文脈的多様性と変化する価値体系に適応可能でなければならない。