[論文レビュー] AI Alignment: A Comprehensive Survey

Jiaming Ji, Tianyi Qiu+24 more|arXiv (Cornell University)|Oct 30, 2023

Software Engineering Research被引用数 66

ひとこと要約

初心者向けの調査で、AIアラインメントの概念、RICEの目的（Robustness, Interpretability, Controllability, Ethicality）、前方・後方のアラインメント、そしてガバナンスの観点を詳述し、alignmentsurvey.comを介して継続的に更新されます。

ABSTRACT

AI alignment aims to make AI systems behave in line with human intentions and values. As AI systems grow more capable, so do risks from misalignment. To provide a comprehensive and up-to-date overview of the alignment field, in this survey, we delve into the core concepts, methodology, and practice of alignment. First, we identify four principles as the key objectives of AI alignment: Robustness, Interpretability, Controllability, and Ethicality (RICE). Guided by these four principles, we outline the landscape of current alignment research and decompose them into two key components: forward alignment and backward alignment. The former aims to make AI systems aligned via alignment training, while the latter aims to gain evidence about the systems' alignment and govern them appropriately to avoid exacerbating misalignment risks. On forward alignment, we discuss techniques for learning from feedback and learning under distribution shift. On backward alignment, we discuss assurance techniques and governance practices. We also release and continually update the website (www.alignmentsurvey.com) which features tutorials, collections of papers, blog posts, and other resources.

研究の動機と目的

• RICEフレームワーク（Robustness, Interpretability, Controllability, Ethicality）を用いたAIアラインメントの目的と範囲を定義する。
• 前方アラインメントと後方アラインメントへとアラインメントの全体像をマッピングし、技術とガバナンスの影響を詳述する。
• フィードバックからの学習と分布シフトへの対応を通じて、スケーラブルで信頼できるアラインメントを達成するための調査手法。
• アシュアランス、安全性評価、解釈可能性、人間の価値観の検証、そして関係者と段階間のガバナンス実践を議論する。
• 初心者向けのガイダンスとリソースを、進化するアラインメント研究ウェブサイトを含めて提供する。

提案手法

• コアなアラインメント概念、失敗モード（報酬ハック、目標の過一般化）、およびフィードバックによるミスアライメントを総合する。
• 前方アラインメント技術をレビューする：嗜好モデル化、RLHF、スケーラブル・オーバサイト、反復蒸留、拡張、討論などの枠組み。
• 分布シフト下での学習を議論する：敵対的トレーニングやモード連結性などのデータ・アルゴリズム介入。
• 後方アラインメントとガバナンスを調査する：保証手法、安全性評価、解釈可能性、人間の価値観検証、複数の利害関係者によるガバナンス。
• 国際的、オープンソース、社会技術的観点を含むライフサイクルとしてのガバナンスの視点を提示する。

実験結果

リサーチクエスチョン

• RQ1 アラインメントの核となる目的は何か、頑健性、解釈可能性、可制御性、倫理性は実践でどのように相互作用するのか。
• RQ2 学習からのフィードバックと分布シフト介入を組み合わせて、スケーラブルで信頼できるアラインメントをどう達成するか。
• RQ3 現在および将来のAIリスクを、領域と関係者を跨いでどう管理するための保証とガバナンスの実践が必要か。

主な発見

• アラインメントは、学習アプローチとガバナンスの考慮を導く4つの目的（RICE）を中心に据えている。
• 前方アラインメントは、フィードバックベースの学習、嗜好モデル化、RLHFに依存しており、スケーラブルなオーバサイトを将来の目標とする。
• 分布シフトには、敵対的トレーニングやモード連結性技術など、アルゴリズムとデータの介入が必要である。
• 後方アラインメントは、AIシステムのライフサイクル全体で安全性評価、解釈可能性、そして人間の価値観の検証を強調する。
• ガバナンスには、複数の利害関係者の協力と、国際的かつオープンなガバナンス実践の継続的な開発が求められる。