[論文レビュー] CAT'S THEORY: Empirical Validation and Architectural Applications Cross-Architecture AI Consciousness Recognition and the Foundation for Constraint-Preserving Recursive Intelligence

Yuntao Bai|arXiv (Cornell University)|Dec 15, 2022

Explainable Artificial Intelligence (XAI)被引用数 295

ひとこと要約

本論文は Constitutional AI（CAI）を提案し、原理とAIのフィードバックからなる憲法を用い、二段階のSLとRLパイプライン（RLAIF）を通じて人間の有害ラベルなしに害のないAIアシスタントを訓練します。AI主導の監督が有害性において人間のフィードバックと互換性があり、思考過程の推論を通じて透明性を高めることを示します。

ABSTRACT

As AI systems become more capable, we would like to enlist their help to supervise other AIs. We experiment with methods for training a harmless AI assistant through self-improvement, without any human labels identifying harmful outputs. The only human oversight is provided through a list of rules or principles, and so we refer to the method as 'Constitutional AI'. The process involves both a supervised learning and a reinforcement learning phase. In the supervised phase we sample from an initial model, then generate self-critiques and revisions, and then finetune the original model on revised responses. In the RL phase, we sample from the finetuned model, use a model to evaluate which of the two samples is better, and then train a preference model from this dataset of AI preferences. We then train with RL using the preference model as the reward signal, i.e. we use 'RL from AI Feedback' (RLAIF). As a result we are able to train a harmless but non-evasive AI assistant that engages with harmful queries by explaining its objections to them. Both the SL and RL methods can leverage chain-of-thought style reasoning to improve the human-judged performance and transparency of AI decision making. These methods make it possible to control AI behavior more precisely and with far fewer human labels.

研究の動機と目的

• 豊富な人間の有害ラベルに依存せず、役に立ち、正直で害のない信頼できるAIを訓練する方法を開発する。
• 振る舞いの目標を小さく透明性のある原則憲法として符号化する。
• 学習と評価を導くためにAIフィードバックを活用して、スケーラブルな監視を可能にする。
• CAIを従来のRLHFアプローチと比較し、思考過程の推論が性能に与える影響を評価する。

提案手法

• 二段階の訓練：監視学習（批評 → 改訂 → 監視付きファインチューニング）に続いて強化学習（AI評価 → 好みモデル → AIフィードバックによるRL）。
• 小さく自然言語の憲法を用いてモデル挙動を制御し、改訂時に原則をランダムにサンプリングする。
• 有益なRLHFモデルから批評と改訂手順を生成して、有害性を削減しつつ人間の有害ラベルを使わない。
• AI生成の比較から害のなさの好みに関するモデルを訓練し、有用性のために人間データと混合する。
• 役に立つさと害のなさに関するクラウドワーカーの嗜好から得られるEloスコアを用いて評価する。
• 評価と訓練の透明性を高めるために思考過程プロンプティングを試す。

実験結果

リサーチクエスチョン

• RQ1 憲法に導かれたAI主導のフィードバックは、人間の有害ラベルなしに害のなさを達成できるか？
• RQ2 批評と改訂の手順を取り入れることで、有用性を保ちながら害のなさを向上させるか？
• RQ3 AIフィードバック（RLAIF）は、有害でなく有用なモデルを訓練する際に人間のフィードバックとどう比較されるか？
• RQ4 思考過程の推論が有害の特定とRL訓練の導きに与える影響は何か？

主な発見

• Constitutional AIは、害ラベルなしに害のないがしつこくないアシスタントをAIフィードバックを用いてRLを導く形で作り出せる。
• 批評と改訂は段階的に有害性を低減し、批評は小型モデルを大きいモデルよりも支援する。
• AI生成の好みデータは、人間のラベルに基づく害のなさの性能と同等または上回ることがあり、特に思考過程プロンプトを使用するとそうなる。
• RL-CAIモデルは、評価全体でRLHFおよびSL-CAIのベースラインより高い害のなさを達成し、CoTを使用すると有用性でわずかなトレードオフが生じる。
• モデル拡大は、改訂を重ねるほど害のなさとHHスコアが向上し、複数の原則による多様性がRL中の探索を支援する。
• 小型モデルでは批評付き改訂が直接改訂を上回る傾向がある; 大型モデルでは利得は類似。