[논문 리뷰] Supervising strong learners by amplifying weak experts

Paul F. Christiano, Buck Shlegeris외 1명|arXiv (Cornell University)|2018. 10. 19.

Reinforcement Learning in Robotics참고 문헌 18인용 수 27

한 줄 요약

이 논문은 인간 전문가가 여러 개의 AI 에이전트 복제본에게 하위 문제를 위임함으로써 복잡하고 알고리즘적이지 않은 과제에 대해 기계 학습 모델을 훈련시키는 방법인 반복적 확장(Iterated Amplification)을 제안한다. 이 방법은 외부 보상 없이도 지도 학습을 가능하게 하며, 과제가 더 단순한 구성 요소로 분해될 수 있는 알고리즘 환경에서 성공을 거두었다.

ABSTRACT

Many real world learning tasks involve complex or hard-to-specify objectives, and using an easier-to-specify proxy can lead to poor performance or misaligned behavior. One solution is to have humans provide a training signal by demonstrating or judging performance, but this approach fails if the task is too complicated for a human to directly evaluate. We propose Iterated Amplification, an alternative training strategy which progressively builds up a training signal for difficult problems by combining solutions to easier subproblems. Iterated Amplification is closely related to Expert Iteration (Anthony et al., 2017; Silver et al., 2017), except that it uses no external reward function. We present results in algorithmic environments, showing that Iterated Amplification can efficiently learn complex behaviors.

연구 동기 및 목표

• 알고리즘적이거나 인간이 계산할 수 없는 훈련 신호가 존재하지 않는 과제, 특히 '인간의 능력 범위를 초월하는' 과제에 대해 기계 학습 모델을 훈련시키는 데 도전한다.
• 최적화 과정에서 잘못된 방향으로 이어지는 경향이 있는 대체 목표의 한계를 극복한다 (굿하르트의 법칙).
• 인간의 감시와 AI 보조를 결합하여 의미 있는 훈련 신호를 생성하는 스케일링 가능한 반복적 훈련 프레임워크를 개발한다.
• 복잡한 문제를 더 단순하고 평가 가능한 하위 문제로 분해함으로써 암묵적인 목표에 대해 지도 학습을 가능하게 한다.
• 정확도가 떨어지거나 일시적인 대체 지표에 의존하는 것을 줄임으로써 강력하고 유익한 AI 시스템을 훈련하는 데 기초를 마련한다.

제안 방법

• 인간 전문가 $H$ 가 기계 학습 에이전트 $X$ 의 여러 복제본을 조율하여 과제를 하위 문제로 분해함으로써 작업을 해결하는 복합 시스템 $\operatorname{Amplify^{H}}(X)$ 를 정의한다.
• 지난 학습을 통해 $X$ 가 $\operatorname{Amplify^{H}}(X)$ 의 출력을 예측하도록 훈련시킴으로써, 인간이 이끄는 다중 에이전트 문제 해결 방식에서 학습할 수 있도록 한다.
• 질문-답변 과제에 초점을 맞추며, 하위 질문은 인간이 생성하고 하위 답변은 $X$ 가 계산한다.
• 모델의 능력이 적절히 할당되도록, 목표 질문과 분해 과정에서 발생하는 모든 하위 질문을 포함하는 훈련 분포 $\mathcal{D}$ 를 구성한다.
• 실험에서 인간의 판단을 수동으로 작성된 알고리즘으로 대체하여 인간의 분해 방식을 시뮬레이션하면서도 핵심 구조를 유지한다.
• 점차적으로 더 복잡한 문제들에 대해 재훈련함으로써 $X$ 를 반복적으로 향상시키며, 확장된 시스템을 감독 신호로 사용한다.

실험 결과

연구 질문

• RQ1 인간이 직접 평가하기 어려운 복잡한 과제에 대해, 인간이 직접 평가할 수 없는 과제에 대해 훈련 신호를 구성할 수 있는가?
• RQ2 외부 보상 없이 인간이 위임한 다중 에이전트 문제 해결 방식만으로도 AI 에이전트를 효과적으로 훈련시킬 수 있는가?
• RQ3 반복적 확장 과정이 단일 에이전트가 단독으로 해결할 수 없는 복잡한 행동을 학습하는 데 기여하는가?
• RQ4 과제가 상호 의존성이 있는 다수의 하위 문제로 분해되어야 할 경우, 이 방법의 스케일링 능력은 어느 정도인가?
• RQ5 알고리즘적이거나 인간이 계산할 수 없는 훈련 신호가 존재하는 실제 세계 과제, 특히 알고리즘 영역 외부의 과제에 이 프레임워크를 적용할 수 있는가?

주요 결과

• 반복적 확장은 외부 보상 함수가 존재하지 않는 환경에서도 복잡한 알고리즘적 행동을 성공적으로 학습시켰다.
• 이 방법은 인간이 위임한 다중 에이전트 시스템에서 유도된 지도 학습을 가능하게 하며, 이러한 설정이 실질적인 훈련 신호로 기능할 수 있음을 보여주었다.
• 원래 과제가 알고리즘적으로 평가되지 않더라도, 과제가 평가 가능한 하위 문제들로 분해될 수 있는 경우, 이 방법은 효과적으로 작동한다.
• 확장된 시스템 ($\operatorname{Amplify^{H}}(X)$) 에서 유도된 훈련 신호는 에이전트의 목표 과제 성능 향상에 충분하다.
• 이 프레임워크는 인간 전문가가 여러 AI 에이전트를 조율하여 단일 에이전트보다 뛰어난 성능을 낼 수 있도록 함으로써, 인간의 능력 범위를 초월하는 과제에 대해 희망적인 가능성을 보여주었다.
• 예를 들어 인간의 판단을 수동으로 작성된 논리로 대체하는 등의 실험적 단순화 조치가 핵심 메커니즘을 손상시키지 않아, 실제 운영 환경에 대한 강건성을 시사한다.