[論文レビュー] An overview of 11 proposals for building safe advanced AI

Evan Hubinger|arXiv (Cornell University)|Dec 4, 2020

Ethics and Social Impacts of AI被引用数 6

ひとこと要約

この論文は、現在の機械学習パラダイム下で安全な高度AIを構築するための11件の提案を評価し、外部整合性、内部整合性、トレーニング競争力、パフォーマンス競争力を焦点にしている。整合性の安全性と実用的妥当性を評価するための比較フレームワークを導入し、強化学習と組み合わせた拡張や緩和型敵対的訓練といったハイブリッド手法が、監視性とスケーラビリティを高めつつ整合性特性を維持する点での洞察を提供する。

ABSTRACT

This paper analyzes and compares 11 different proposals for building safe advanced AI under the current machine learning paradigm, including major contenders such as iterated amplification, AI safety via debate, and recursive reward modeling. Each proposal is evaluated on the four components of outer alignment, inner alignment, training competitiveness, and performance competitiveness, of which the distinction between the latter two is introduced in this paper. While prior literature has primarily focused on analyzing individual proposals, or primarily focused on outer alignment at the expense of inner alignment, this analysis seeks to take a comparative look at a wide range of proposals including a comparative analysis across all four previously mentioned components.

研究の動機と目的

• 現在の機械学習パラダイム下で安全な高度AIを構築するための11件の主要な提案を統一的に比較評価すること。
• 先行研究における偏りを是正し、トレーニング競争力とパフォーマンス競争力を併せて分析すること。
• トレーニング競争力とパフォーマンス競争力の違いを明確にし、AIセーフティ提案を評価するための重要な次元として位置づけること。
• 模倣学習、強化学習、監視メカニズム、透明性ツールを組み合わせたハイブリッド手法が、整合性とスケーラビリティを向上させるかどうかを評価すること。
• 整合性の頑健性と現実世界の実現可能性に基づいて、将来のAIセーフティ提案を評価するための構造化されたフレームワークを提供すること。

提案手法

• 各提案は、外部整合性、内部整合性、トレーニング競争力、パフォーマンス競争力の4つの要素を用いて分析される。
• 監視性とモデルの信頼性を向上させるために、拡張に補助的強化学習目的を組み合わせたハイブリッド手法や緩和型敵対的訓練の評価が行われる。
• 解釈可能性を高め、モデル行動の監視を可能にするために、複数のアプローチに透明性ツールが統合される。
• 緩和型敵対的訓練は、モデルの偽装的または破綻的行動を検出・是正するために用いられる。
• 損失関数の段階的縮小（アニーリング）を用いて、HCHに限定される理想状態での望ましい行動にモデルを誘導する。
• 特に強化学習を補完する拡張フレームワークにおいて、他のモデル（例：π）の行動を予測させることで監視性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 外部整合性、内部整合性、トレーニング競争力、パフォーマンス競争力という次元において、異なるAIセーフティ提案はどのように比較できるか？
• RQ2 模倣学習、強化学習、監視メカニズムを組み合わせたハイブリッド手法は、整合性とスケーラビリティを向上させることができるか？
• RQ3 透明性ツールと緩和型敵対的訓練は、高度AIシステムにおける監視の信頼性をどの程度向上させることができるか？
• RQ4 整合性提案において、トレーニング競争力とパフォーマンス競争力の間にはどのようなトレードオフがあるか？
• RQ5 模倣的行動やHCHに類似した行動に向けた損失関数のアニーリングは、最終的なモデルの整合性とパフォーマンスにどのような影響を与えるか？

主な発見

• 拡張に補助的強化学習を組み合わせたハイブリッド手法や緩和型敵対的訓練は、理想状態でHCHに限定される場合に強い外部整合性を達成できる。特に模倣的損失をアニーリングすることでその効果が顕著になる。
• 監視モデル（例：Amp(M)）が方策πとその行動を両方とも予測できる場合、特に透明性ツールと予測損失学習を組み合わせることで、内部整合性が顕著に向上する。
• 強化学習を用いた方策学習によりトレーニング競争力が向上するが、拡張と方策モデルの共同学習は、監視学習が不安定または高コストである場合、競争力を低下させる可能性がある。
• 最終モデルがHCHに類似した行動に収束する場合、パフォーマンス競争力は維持され、システムが主要なAGI用途を果たせることが保証される。
• 完全な強化学習目的ではなく予測損失を用いることで、モデルの短視眼的行動（マイオピア）が維持され、方策モデルにおける偽装的整合性のリスクが低減される。
• Amp(M)がそのような行動を予測可能である限り、監視によるπの監視と組み合わせた緩和型敵対的訓練は、破綻的行動を検出し抑制できる。