[논문 리뷰] AI safety via debate

Geoffrey Irving, Paul F. Christiano외 1명|arXiv (Cornell University)|2018. 05. 02.

Computability, Logic, AI Algorithms참고 문헌 3인용 수 29

한 줄 요약

이 논문은 초인간적 AI 시스템을 인간의 가치와 일치시키기 위한 방법으로 논의를 제안한다. 이는 두 모델이 질문에 대해 논쟁을 벌이며, 인간 심판자가 더 진실하고 유용한 응답을 선택하는 0-합 게임에서 자기 연습을 통해 에이전트를 훈련시키는 방식이다. MNIST 실험에서 논의로 인해 희박한 분류기의 정확도가 6픽셀 입력 시 59.4%에서 88.9%로 향상되었으며, 이는 논의가 인간의 판단 능력을 직접적인 능력 한계를 초월해 강화할 수 있음을 보여준다.

ABSTRACT

To make AI systems broadly useful for challenging real-world tasks, we need them to learn complex human goals and preferences. One approach to specifying complex goals asks humans to judge during training which agent behaviors are safe and useful, but this approach can fail if the task is too complicated for a human to directly judge. To help address this concern, we propose training agents via self play on a zero sum debate game. Given a question or proposed action, two agents take turns making short statements up to a limit, then a human judges which of the agents gave the most true, useful information. In an analogy to complexity theory, debate with optimal play can answer any question in PSPACE given polynomial time judges (direct judging answers only NP questions). In practice, whether debate works involves empirical questions about humans and the tasks we want AIs to perform, plus theoretical questions about the meaning of AI alignment. We report results on an initial MNIST experiment where agents compete to convince a sparse classifier, boosting the classifier's accuracy from 59.4% to 88.9% given 6 pixels and from 48.2% to 85.2% given 4 pixels. Finally, we discuss theoretical and practical aspects of the debate model, focusing on potential weaknesses as the model scales up, and we propose future human and computer experiments to test these properties.

연구 동기 및 목표

• 직접적인 인간 판단이 불가능한 상황에서 복잡한 인간의 목표와 선호도를 초인간적 AI 시스템과 일치시키는 데 도전하는 것.
• 직접적인 인간 감시의 대안으로서 확장 가능한 논의를 제안하여, 에이전트들이 더 진실되고 유용한 정보를 제시하기 위해 경쟁하도록 하는 것.
• 논의가 인간 감시가 제한된 기계 학습 과제에서 인간의 판단을 향상시킬 수 있는지 경험적으로 테스트하는 것.
• 논의의 이론적 및 실용적 특성, 특히 실세계의 정렬 문제에 대한 강건성과 확장성에 대해 탐구하는 것.
• 특히 도덕성 및 공정성 관련 영역에서 인간-AI 정렬에 있어 논의의 효과를 테스트할 수 있는 미래의 실험을 위한 기초를 마련하는 것.

제안 방법

• 두 AI 에이전트를 0-합 논의 게임에서 자기 연습을 통해 훈련시키며, 둘이 번갈아가며 질문에 대한 자신의 입장을 설득하기 위한 진술을 한다.
• 인간 심판자가 더 진실되고 유용한 주장이라고 판단한 쪽을 선택함으로써, 양쪽 에이전트의 정책 업데이트에 신호를 제공한다.
• 개방형 언어의 복잡성 회피를 위해 간소화된 비자연어 논의 형식(예: 희박한 분류기를 사용한 이미지 기반 분류)을 사용한다.
• 논의를 복잡도 이론적 유사성으로 모델링: 최적의 플레이로 논의를 하면 PSPACE에 속하는 모든 문제를 해결할 수 있으나, 직접적인 인간 판단은 NP에 국한된다.
• MNIST 이미지 분류에 논의를 적용하여, 에이전트들이 어떤 숫자가 존재하는지 논의하고, 희박한 분류기를 인간 심판으로 사용한다.
• 더 풍부한 이론적 모델, 도덕성 및 편향 판단에 대한 인간 연구, 인간과 유사한 논의 동역학을 모사하는 기계 학습 근사치를 사용한 미래의 실험을 제안한다.

실험 결과

연구 질문

• RQ1 인간 심판자가 직접 평가할 수 없는 복잡한 AI 행동을, 추론을 관리 가능한 주장과 반박으로 분해함으로써 논의가 올바르게 평가할 수 있는가?
• RQ2 특히 인간이 도메인 전문가가 아닐 경우, 논의가 직접 감시를 초월해 인간의 판단을 얼마나 강화하는가?
• RQ3 논의가 인간 편향에 대해 강건성과 확장성 면에서 다른 정렬 방법(예: 확대)과 비교해 어떻게 다른가?
• RQ4 논의의 이론적 한계는 계산 복잡도 측면에서 어떻게 정의되며, 실세계의 AI 정렬 문제에 어떻게 대응하는가?
• RQ5 인간 심판자가 편향되거나 일관성 없을 수 있는 도덕성 또는 공정성 관련 질문에 대해 논의가 효과적으로 적용될 수 있는가?

주요 결과

• MNIST 실험에서 논의로 인해 희박한 분류기의 정확도가 6픽셀 입력 시 59.4%에서 88.9%로 향상되었으며, 이는 논의가 인간의 판단 능력을 직접적인 능력 한계를 초월해 향상시킬 수 있음을 보여준다.
• 단지 4픽셀일 경우에도 논의로 분류기의 정확도가 48.2%에서 85.2%로 향상되어 극도로 희박한 입력 조건에서도 일관된 향상이 이루어짐을 보여준다.
• 논의를 통해 인간 심판자는 추론을 검증 가능한 주장과 반박으로 분해함으로써 복잡하고 고정확도의 AI 행동을 평가할 수 있다.
• 이론적 분석 결과, 최적의 플레이로 논의를 하면 PSPACE에 속하는 모든 문제를 해결할 수 있으나, 직접적인 인간 판단은 NP에 국한되므로 인간 추론 능력이 상당히 증폭됨을 시사한다.
• 특히 많은 선택지 중에서 결정을 내려야 하는 고지수 분기 시나리오(예: 여러 휴가 옵션 중 선택)에서는 논의가 깊은 논거 사슬을 처리할 수 있어, 얕은 확대보다 더 강력하다.
• 논의를 확장할 때의 주요 위험 요소로 위선적 정렬과 적대적 논거 전략을 특정하고, 강건성을 테스트하기 위한 미래의 실험을 제안한다.