[논문 리뷰] Accuracy-based Curriculum Learning in Deep Reinforcement Learning

Pierre Fournier, Olivier Sigaud외 2명|arXiv (Cornell University)|2018. 06. 25.

Reinforcement Learning in Robotics참고 문헌 23인용 수 24

한 줄 요약

이 논문은 딥 강화학습에서 정확도 기반 커리큘럼 학습을 제안하며, 에이전트가 능력 진전에 따라 정확도 요구사항(ε)을 동적으로 조정함으로써 작업 난이도를 조절한다. 초기에는 더 쉬운 정확도 수준을 우선시하고 점차 엄격한 수준으로 전환함으로써, UVFA를 사용한 DDPG를 활용한 Reacher 환경에서 랜덤 또는 고정된 정확도 스케줄링에 비해 학습 효율성과 최종 성능이 크게 향상된다.

ABSTRACT

In this paper, we investigate a new form of automated curriculum learning based on adaptive selection of accuracy requirements, called accuracy-based curriculum learning. Using a reinforcement learning agent based on the Deep Deterministic Policy Gradient algorithm and addressing the Reacher environment, we first show that an agent trained with various accuracy requirements sampled randomly learns more efficiently than when asked to be very accurate at all times. Then we show that adaptive selection of accuracy requirements, based on a local measure of competence progress, automatically generates a curriculum where difficulty progressively increases, resulting in a better learning efficiency than sampling randomly.

연구 동기 및 목표

• 정확도 요구사항(ε)을 동적으로 조정함으로써 딥 강화학습에서 학습 효율성이 향상되는지 조사하기.
• 능력 진전이 연속 제어 과제에서 커리큘럼 생성을 이끄는 데 유용한 신호가 될 수 있는지 평가하기.
• 샘플 효율성을 향상시키기 위해 ε 값의 무작위 샘플링과 진전 기반 적응형 선택 방식을 비교하기.
• 더 느슨한 정확도 제약 조건에서 학습한 결과가 더 엄격한 제약 조건으로 일반화되는지 탐색하기.
• 정확도 요구사항 기반 커리큘럼 학습이 연속 행동 공간에서 자동화되고 효과적으로 작용할 수 있음을 보여주기.

제안 방법

• 다중목표 강화학습을 처리하기 위해 유니버설 밸류 함수 근사(UTVA)를 사용하는 딥 디터민리스틱 정책 그래디언트(DDPG)를 사용한다.
• 정확도 요구사항(ε ∈ {0.02, 0.03, 0.04, 0.05})는 동적 커리큘럼 파라미터로 간주되며, 에이전트는 다양한 ε 값에서 훈련된다.
• 능력 진전은 각 ε에 대해 성공률의 시간에 따른 변화율로 계산되며, 학습 진전의 대체 지표로 사용된다.
• 활동적 커리큘럼 전략은 현재 능력 진전에 기반해 ε 값을 샘플링하며, 더 빠른 향상 추세를 보이는 항목에 더 높은 우선순위를 부여한다.
• 샘플링 정책은 능력 진전에 기반한 β 매개변수화된 소프트맥스를 사용하여 커리큘럼 선택에서 탐색과 이용의 균형을 이룬다.
• 기준선은 고정된 무작위 샘플링의 ε 값과 적응형 활성-ε 전략을 비교한다.

실험 결과

연구 질문

• RQ1 다양한 무작위로 샘플된 정확도 요구사항(ε)에서 훈련하는 것이 고정된 엄격한 정확도 요구사항보다 학습 효율성을 향상시키는가?
• RQ2 능력 진전이 딥 강화학습에서 효과적인 커리큘럼을 자동 생성하는 데 신뢰할 수 있는 신호가 될 수 있는가?
• RQ3 더 쉬운 정확도 수준에서 시작하여 점차 더 어려운 수준으로 전환하는 적응형 커리큘럼이 ε 값의 무작위 샘플링보다 우수한가?
• RQ4 연속 제어 과제에서 더 느슨한 정확도 제약 조건에서 학습한 결과가 더 엄격한 제약 조건으로 얼마나 잘 일반화되는가?
• RQ5 진전에 기반해 동적으로 ε를 조정할 경우 최종 성능와 훈련 안정성에 어떤 영향을 미치는가?

주요 결과

• 정확도 요구사항(ε)의 무작위 샘플링은 단일 엄격한 ε 값으로 훈련하는 것에 비해 학습 속도와 최종 정확도 향상에 크게 기여한다.
• 지역적 능력 진전에 기반해 ε를 선택하는 활성-ε 전략은 무작위 샘플링보다 초기 학습 속도가 빠르고 최종 정확도가 높다.
• 낮은 정밀도 과제(예: ε = 0.05)에서의 능력 진전은 처음에는 급격히 증가하다가 정점에 도달한 후 정체되며, 더 쉬운 목표의 숙달을 나타낸다.
• 약 150,000개의 훈련 스텝 이후, 에이전트는 더 높은 정밀도 과제(예: ε = 0.02)로 초점을 옮기며, 이는 계속해서 측정 가능한 진전을 보이고 있어 효과적인 커리큘럼 전환을 시사한다.
• 활성-ε 전략은 훈련 런 간의 분산을 줄여 무작위 ε 샘플링에 비해 더 높은 강건성을 보였다.
• 능력 진전에 기반한 커리큘럼은 자연스럽게 더 쉬운 과제를 먼저 우선시하고 더 어려운 과제로 전환되며, 수동으로 설계된 스케줄링 없이도 인간 유사 학습 진행 방식을 모방한다.