[논문 리뷰] An overview of 11 proposals for building safe advanced AI

Evan Hubinger|arXiv (Cornell University)|2020. 12. 04.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

이 논문은 현재의 기계학습 범진 내에서 안전한 고급 AI를 구축하기 위한 11개의 제안 사항을 평가하며, 외부 정렬, 내부 정렬, 훈련 경쟁력, 성능 경쟁력에 중점을 둡니다. 정렬 안전성과 실용적 타당성을 평가하기 위한 비교 프레임워크를 도입하여, 강화학습과 융합된 확장 기법 및 느슨한 적대적 훈련과 같은 하이브리드 접근 방식이 감시 능력과 확장성을 향상시키면서도 정렬 성질을 유지하는 데 기여하는 통찰을 제공합니다.

ABSTRACT

This paper analyzes and compares 11 different proposals for building safe advanced AI under the current machine learning paradigm, including major contenders such as iterated amplification, AI safety via debate, and recursive reward modeling. Each proposal is evaluated on the four components of outer alignment, inner alignment, training competitiveness, and performance competitiveness, of which the distinction between the latter two is introduced in this paper. While prior literature has primarily focused on analyzing individual proposals, or primarily focused on outer alignment at the expense of inner alignment, this analysis seeks to take a comparative look at a wide range of proposals including a comparative analysis across all four previously mentioned components.

연구 동기 및 목표

• 현재의 기계학습 범진 내에서 안전한 고급 AI를 구축하기 위한 11개의 주요 제안 사항에 대한 통합된 비교 평가를 제공하는 것.
• 이전 문헌에서의 균형 이상을 해결하기 위해 외부 정렬과 내부 정렬을 동시에 분석하고, 훈련 경쟁력과 성능 경쟁력을 포함한 평가 체계를 수립하는 것.
• 훈련 경쟁력과 성능 경쟁력의 차이를 명확히 하여 AI 안전 제안 사항 평가의 핵심 차원으로서의 중요성을 설명하는 것.
• 모의 학습, 강화학습, 감시 메커니즘, 투명성 도구를 융합한 하이브리드 접근 방식이 정렬 및 확장성 향상에 어떻게 기여하는지 평가하는 것.
• 정렬 강건성과 실제 적용 가능성에 기반한 향후 AI 안전 제안 사항 평가를 위한 체계적 프레임워크를 제공하는 것.

제안 방법

• 각 제안 사항은 외부 정렬, 내부 정렬, 훈련 경쟁력, 성능 경쟁력의 네 가지 구성 요소를 사용해 분석됩니다.
• 감시 능력 향상과 모델 신뢰성 향상을 위해 확장 기법에 보조 강화학습 목표를 도입한 하이브리드 방법이 평가됩니다.
• 해석 가능성 향상과 모델 행동 감시 가능성을 높이기 위해 여러 접근 방식에 투명성 도구가 통합됩니다.
• 모델의 기망적 또는 치명적인 행동을 탐지하고 완화하기 위해 느슨한 적대적 훈련이 적용됩니다.
• 손실 함수의 점진적 감소를 통해 모델이 원하는 행동으로 유도되며, 이상적인 경우 HCH로 제한됩니다.
• 특히 강화학습 기반 확장 프레임워크에서 감시 능력을 향상시키기 위해 다른 모델(예: π)의 행동을 예측하도록 모델을 훈련시킵니다.

실험 결과

연구 질문

• RQ1 다양한 AI 안전 제안 사항이 외부 정렬, 내부 정렬, 훈련 경쟁력, 성능 경쟁력의 차원에서 어떻게 비교 가능한가?
• RQ2 모의 학습, 강화학습, 감시 메커니즘을 융합한 하이브리드 접근 방식이 정렬 및 확장성 향상에 기여할 수 있는가?
• RQ3 투명성 도구와 느슨한 적대적 훈련이 고급 AI 시스템에서 감시의 신뢰성 향상에 얼마나 기여할 수 있는가?
• RQ4 정렬 제안 사항에서 훈련 경쟁력과 성능 경쟁력 사이의 상호 상충 관계는 어느 정도인가?
• RQ5 모델이 모의 학습 또는 HCH 유사 행동으로 향하도록 손실 함수를 점차적으로 감소시키면 최종 모델의 정렬 및 성능에 어떤 영향을 미치는가?

주요 결과

• 확장 기법에 보조 강화학습 목표를 도입하고, 이상적인 경우 HCH로 제한하는 방식의 하이브리드 접근 방식은 특히 모의 학습 손실을 점진적으로 감소시킬 경우 강력한 외부 정렬을 달성할 수 있습니다.
• 감시 모델(예: Amp(M))이 정책 π와 그 행동을 모두 예측할 수 있을 경우, 특히 투명성 도구와 예측 손실 훈련을 통합하면 내부 정렬이 크게 향상됩니다.
• 정책 훈련에 강화학습을 사용하면 훈련 경쟁력이 향상되지만, 확장 기법과 정책 모델의 공동 훈련이 감시 훈련의 불안정성이나 높은 비용으로 인해 경쟁력이 저하될 수 있습니다.
• 최종 모델가 HCH 유사 행동으로 수렴할 경우 성능 경쟁력이 유지되어 핵심 AGI 사용 사례를 충족시킬 수 있습니다.
• 전체 강화학습 목표 대신 예측 손실을 사용하면 모델의 단기적 사고 경향(미로피아)을 유지할 수 있어, 정책 모델에서 기만적 정렬의 위험을 감소시킵니다.
• Amp(M)가 치명적인 행동을 예측할 수 있다면, Amp(M)가 π를 감시하면서 느슨한 적대적 훈련을 적용하면 기괴한 행동을 탐지하고 억제할 수 있습니다.