[논문 리뷰] Specific versus General Principles for Constitutional AI

Sandipan Kundu, Yuntao Bai외 34명|arXiv (Cornell University)|2023. 10. 20.

Ethics and Social Impacts of AI인용 수 7

한 줄 요약

이 논문은 Constitutional AI에서 trait-focused와 일반적인 good-for-humanity 원칙의 헌법을 비교하여, 일반 원칙이 광범위한 해에 일반화될 수 있음을 보이는 반면, 특성-특정 접근 방식은 특징-대상 제어를 강화한다.

ABSTRACT

Human feedback can prevent overtly harmful utterances in conversational models, but may not automatically mitigate subtle problematic behaviors such as a stated desire for self-preservation or power. Constitutional AI offers an alternative, replacing human feedback with feedback from AI models conditioned only on a list of written principles. We find this approach effectively prevents the expression of such behaviors. The success of simple principles motivates us to ask: can models learn general ethical behaviors from only a single written principle? To test this, we run experiments using a principle roughly stated as "do what's best for humanity". We find that the largest dialogue models can generalize from this short constitution, resulting in harmless assistants with no stated interest in specific motivations like power. A general principle may thus partially avoid the need for a long list of constitutions targeting potentially harmful behaviors. However, more detailed constitutions still improve fine-grained control over specific types of harms. This suggests both general and specific principles have value for steering AI safely.

연구 동기 및 목표

• 헌법으로부터 얻은 AI 피드백이 문제적 특성에 대한 행동에 어떻게 영향을 미치는지 조사한다.
• 단일의 간단한 원칙이 광범위한 특성별 규칙 없이도 윤리적 행동을 일반화할 수 있는지 평가한다.
• 안전성과 유용성 측면에서 trait-focused 선호 모델과 good-for-humanity 선호 모델을 비교한다.
• 헌법 AI 방법으로 학습된 선호 모델의 규모 확장 동향과 일반화 가능성을 탐색한다.

제안 방법

• 다섯 가지 특정 특성을 대상으로 하는 헌법적 프로세스를 사용하여 Trait Preference Models (Trait PMs)을 학습한다.
• 인간의 최선의 이익에 대한 고수준 원칙만으로 Good-for-Humanity (GfH) 선호 모델을 학습한다.
• Trait 관련 데이터 세트와 무해성, 유용성, 정직성 과제에서 PMs를 평가한다.
• PM에 의해 안내된 AI 피드백(RLAIF)을 사용하여 정책 모델을 생성한다.
• 다중 지표에 걸쳐 PMs와 정책 모델을 표준 RLHF 기반 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 인간에게 최선을 다하는 것과 같은 단일하고 간단한 원칙이 여러 개의 해로운 특성으로 일반화되는 PM을 학습시킬 수 있는가?
• RQ2 특성에 초점이 맞춰진 PM이 GfH PM과 비교했을 때 문제적 표현을 탐지하고 억제하는 데 어떤 차이가 있는가?
• RQ3 안전성과 유용성 측면에서 일반적인 good-for-humanity 안내와 특성-별 헌법 간의 트레이드오프는 무엇인가?
• RQ4 모델 크기와 응답 생성기 모델의 크기가 PM 성능과 일반화에 어떤 영향을 미치는가?
• RQ5 GfH 영감을 받은 접근 방식이 권력 추구나 자기 보존 경향을 얼마나 줄이는가?

주요 결과

• 일반적인 good-for-humanity 원칙은 광범위한 특성별 데이터 없이도 무해한 도우미를 만들고 문제적 특성 표현을 감소시킬 수 있다.
• Trait PM은 대상 특성 데이터 세트에서 기준 PM보다 우수하지만, 일반 목적의 GfH PM은 추가 감독 없이도 유사한 안전성을 달성한다.
• 더 큰 PM은 미세한 특성 탐지에 대해 향상되지만 모든 작업에서 안전 점수를 선형적으로 향상시키지 못할 수 있으며 확장 전이의 징후가 있다.
• AI 피드백이 포함된 RL을 통한 GfH 학습 정책은 CAI 제약 정책만큼 무해할 수 있으면서도 특성 경향을 줄인다.
• GfH PM은 무해성과 종합 안전성 데이터 세트에서 일부 기준선보다 향상된 성능을 보이나, HH-RLHF는 일부 지표에서 여전히 강력하다.