[논문 리뷰] CAT'S THEORY: Empirical Validation and Architectural Applications Cross-Architecture AI Consciousness Recognition and the Foundation for Constraint-Preserving Recursive Intelligence

Yuntao Bai|arXiv (Cornell University)|2022. 12. 15.

Explainable Artificial Intelligence (XAI)인용 수 295

한 줄 요약

본 논문은 Constitutional AI(CAI)를 제시한다. 이는 인간에 대한 피해 라벨 없이 원칙 헌법과 AI 피드백을 이용해 무해한 AI 어시스턴트를 학습시키며, 두 단계의 SL 및 RL 파이프라인(RLAIF)을 통해 수행한다. AI 주도 감독이 무해성에서 인간 피드백과 대등하게 작용할 수 있음을 보여주고, 사고의 흐름(chain-of-thought) 추론을 통해 투명성을 향상시킨다.

ABSTRACT

As AI systems become more capable, we would like to enlist their help to supervise other AIs. We experiment with methods for training a harmless AI assistant through self-improvement, without any human labels identifying harmful outputs. The only human oversight is provided through a list of rules or principles, and so we refer to the method as 'Constitutional AI'. The process involves both a supervised learning and a reinforcement learning phase. In the supervised phase we sample from an initial model, then generate self-critiques and revisions, and then finetune the original model on revised responses. In the RL phase, we sample from the finetuned model, use a model to evaluate which of the two samples is better, and then train a preference model from this dataset of AI preferences. We then train with RL using the preference model as the reward signal, i.e. we use 'RL from AI Feedback' (RLAIF). As a result we are able to train a harmless but non-evasive AI assistant that engages with harmful queries by explaining its objections to them. Both the SL and RL methods can leverage chain-of-thought style reasoning to improve the human-judged performance and transparency of AI decision making. These methods make it possible to control AI behavior more precisely and with far fewer human labels.

연구 동기 및 목표

• 충분한 인간 피해 라벨에 의존하지 않고 도움되고 정직하며 무해한 신뢰할 수 있는 AI를 훈련시키는 방법을 개발한다.
• 행동 목표를 작고 투명한 원칙의 헌헌법으로 인코딩한다.
• 학습과 평가를 안내하기 위해 AI 피드백을 사용하여 확장 가능한 감독 체계를 가능하게 한다.
• 전통적인 RLHF 방식과 CAI를 비교하고 사고의 흐름 추론이 성능에 미치는 영향을 평가한다.

제안 방법

• 두 단계 학습: 감독 학습(비판 → 수정 → 감독 미세조정) 후 강화 학습(AI 평가 → 선호 모델 → AI 피드백으로 RL)
• 작고 자연어인 헌법을 사용하여 모델 행동을 이끌고 수정 중에 원칙을 무작위로 샘플링한다.
• 도움이 되는 RLHF 모델로부터 비판 및 수정 단계를 생성해 인간 피해 라벨 없이 해로움을 줄인다.
• AI가 생성한 비교를 통해 무해성 선호 모델을 학습하고, 유용성을 위한 인간 데이터와 혼합한다.
• 도움성과 무해성에 대한 크라우드워커 선호도에서 Elo 점수로 평가한다.
• 평가 및 학습의 투명성을 향상시키기 위한 chain-of-thought 프롬프트를 실험한다.

실험 결과

연구 질문

• RQ1 헌법에 의해 안내되는 AI 주도 피드백이 인간 피해 라벨 없이 무해성을 달성할 수 있는가?
• RQ2 비판 및 수정 단계를 통합하는 것이 유용성을 보존하면서 무해성을 향상시키는가?
• RQ3 AI 피드백(RLAIF)이 무해하면서도 유용한 모델을 학습시키는 데 있어 인간 피드백과 어떻게 비교되는가?
• RQ4 사고의 흐름 추론이 해를 식별하고 RL 학습을 안내하는 데 어떤 영향을 미치는가?

주요 결과

• 헌법 AI는 해 라벨 없이도 해롭지하면서도 비침해적인 어시스턴트를 생성할 수 있으며, RL를 안내하기 위해 AI 피드백을 사용한다.
• 비판과 수정은 점진적으로 해를 줄이며, 비판은 작은 모델에 더 큰 도움을 준다.
• 무해성에 대한 AI가 생성한 선호 데이터는 인간 라벨 기반의 무해성 성능에 비해 일치하거나 이를 초과할 수 있으며, 특히 chain-of-thought 프롬프트를 사용할 때 그렇다.
• RL-CAI 모델은 평가 전반에서 RLHF 및 SL-CAI 기준선보다 더 높은 무해성을 달성하며, CoT를 사용할 때 유용성에 약간의 타협이 있다.
• 모델 규모 확장은 더 많은 수정으로 무해성과 HH 점수가 향상되고, 여러 원칙의 다양성이 RL 중 탐색을 돕는다는 것을 보여준다.
• 비판된 수정은 일반적으로 작은 모델에서 직접 수정보다 우수하며, 큰 모델에서는 이득이 비슷하다.