[논문 리뷰] Curiosity-Driven Multi-Criteria Hindsight Experience Replay

John B. Lanier, Stephen McAleer외 1명|arXiv (Cornell University)|2019. 06. 09.

Psychological and Educational Research Studies참고 문헌 39인용 수 11

한 줄 요약

이 논문은 인간의 지시 없이 희박한 보상 환경에서 시뮬레이션 상의 블록 쌓기 작업을 해결하기 위해 궁금증 기반 탐색, 커리큘럼 학습, 다기준 후행 경험 리플레이(Multi-criteria Hindsight Experience Replay, HER)를 결합한 새로운 강화학습 프레임워크를 제안한다. 이 방법은 내재적 궁금증과 HER만을 사용하여 두 개 이상의 블록을 성공적으로 쌓는 최초의 사례를 기록했으며, 누적 보상 조건 하에서 네 블록 쌓기 작업에서 79%의 성공률을 기록했고, 바이너리 보상 조건 하에서는 세 블록 쌓기 작업에서 95%의 성공률을 달성했다.

ABSTRACT

Dealing with sparse rewards is a longstanding challenge in reinforcement learning. The recent use of hindsight methods have achieved success on a variety of sparse-reward tasks, but they fail on complex tasks such as stacking multiple blocks with a robot arm in simulation. Curiosity-driven exploration using the prediction error of a learned dynamics model as an intrinsic reward has been shown to be effective for exploring a number of sparse-reward environments. We present a method that combines hindsight with curiosity-driven exploration and curriculum learning in order to solve the challenging sparse-reward block stacking task. We are the first to stack more than two blocks using only sparse reward without human demonstrations.

연구 동기 및 목표

• 표준 강화학습이 탐색 부족과 희박한 보상으로 인해 실패하는 복잡한 희박한 보상 환경에서의 로봇 조작 작업(예: 다중 블록 쌓기)을 해결하는 데 도전한다.
• 랜덤 탐색으로는 쉽게 목표를 발견할 수 없는 다기준 환경에서 표준 후행 경험 리플레이(HER)의 한계를 극복한다.
• 내재적 궁금증과 구조화된 커리큘럼, 다기준 HER를 결합하여 고차원적이고 희박한 보상 환경에서 샘플 효율적인 학습을 가능하게 하는 방법을 제안한다.
• 궁금증, 커리큘럼, 다기준 HER의 통합이 인간의 지시 없이 가장 도전적인 블록 쌓기 작업을 해결하는 데 필수적임을 입증한다.

제안 방법

• 예측 오차를 내재적 궁금증 보상으로 사용하기 위해 학습된 동역학 모델을 활용하여 에이전트가 새로운 상태 전이를 탐색하도록 유도한다.
• 독립적인 네트워크(πc: 궁금증 전략, πr: 표준 정책)를 사용하여 비정책 기반 방식으로 궁금증 기반 탐색과 표준 정책 롤아웃을 결합하고, 경험 리플레이를 통해 두 데이터 스트림을 혼합한다.
• 다양한 하위 목표(예: 개별 블록의 위치) 기반으로 전이를 재표기할 수 있는 다기준 후행 경험 리플레이 메커니즘을 구현하여, 다기준 작업에서의 샘플 효율성을 향상시킨다.
• 세 단계로 구성된 커리큘럼 설계: 한 블록 쌓기, 두 블록 쌓기, 세 또는 네 블록 쌓기 — 점진적인 기술 습득을 가능하게 한다.
• 학습 중에 파라미터 공간 노이즈와 액션 노이즈를 적용하여 탐색 능력과 정책 일반화 능력을 향상시킨다.
• DDPG에 HER를 통합하여 궁금증과 커리큘럼 학습을 적용함으로써 점차 복잡해지는 작업들 사이에서 탐색과 이용의 균형을 이루도록 훈련한다.

실험 결과

연구 질문

• RQ1 궁금증 기반 탐색과 후행 경험 리플레이를 조합하면 인간의 지시 없이도 희박한 보상 환경에서 로봇 조작 작업을 해결할 수 있는가?
• RQ2 다기준 HER는 블록 쌓기와 같은 다목표 환경에서 샘플 효율성과 학습 성능을 어떻게 향상시키는가?
• RQ3 커리큘럼 학습은 블록을 다수 쌓는 것과 같은 계층적인 복잡한 작업을 학습하는 데에 얼마나 기여하는가?
• RQ4 궁금증, 커리큘럼, 다기준 HER 중 각각의 기여도는 무엇이며, 가장 도전적인 블록 쌓기 작업 해결에 있어 어떤 역할을 하는가?
• RQ5 이러한 기법들의 조합은 이전 방법이 실패한 바이너리(희박한) 보상 조건 하에서 두 개를 초월하는 블록 쌓기 작업을 해결할 수 있는가?

주요 결과

• 제안된 방법은 바이너리 보상 조건 하에서 세 블록 쌓기 작업에서 95%의 성공률을 기록했으며, 이는 원시 DDPG+HER 및 기타 기준 방법이 해결하지 못한 과제였다.
• 누적 보상 조건 하에서는 네 블록 쌓기 작업에서 79%의 성공률을 달성하여 더 높은 복잡도로의 확장성을 입증했다.
• 바이너리 보상 조건 하에서 세 블록 쌓기 작업을 해결하기 위해 궁금증 기반 탐색이 필수적이었으며, 이를 생략할 경우 어떤 진전도 없었다.
• 다기준 HER는 샘플 효율성을 크게 향상시키며, 세 및 네 블록 쌓기 작업 해결에 필수적이었다.
• 커리큘럼 학습은 필수적이었으며, 커리큘럼의 이전 단계에서 훈련하지 않은 방법은 목표 과제에서 성공하지 못했다.
• 모든 세 구성 요소 — 궁금증, 커리큘럼, 다기준 HER — 가 함께 통합되어야 가장 도전적인 블록 쌓기 환경을 해결할 수 있었으며, 단일 구성 요소만으로는 충분하지 않았다.