[논문 리뷰] Align-RUDDER: Learning From Few Demonstrations by Reward Redistribution

Vihang P. Patil, Markus Hofmarcher외 6명|arXiv (Cornell University)|2020. 01. 01.

Reinforcement Learning in Robotics참고 문헌 83인용 수 8

한 줄 요약

Align-RUDDER는 다중 서열 정렬(MSA)을 사용하여 보상 재분배를 위한 프로파일 모델을 구축함으로써, 소수의 고보상 시범 트레이젝터리에서 학습을 가속화하는 강화학습 방법을 제안한다. 기존의 LSTMs와 같은 딥러닝 네트워크에 의존하는 방법들과는 달리, 생물정보학에서 영감을 얻은 정렬 기법을 활용해 하위 작업의 마일스톤을 식별함으로써 샘플 효율성을 크게 향상시키고, 극히 소수의 시범 데이터로도 마인크래프트에서 다이아몬드 채굴을 성공적으로 수행할 수 있도록 한다.

ABSTRACT

Reinforcement learning algorithms require many samples when solving complex hierarchical tasks with sparse and delayed rewards. For such complex tasks, the recently proposed RUDDER uses reward redistribution to leverage steps in the Q-function that are associated with accomplishing sub-tasks. However, often only few episodes with high rewards are available as demonstrations since current exploration strategies cannot discover them in reasonable time. In this work, we introduce Align-RUDDER, which utilizes a profile model for reward redistribution that is obtained from multiple sequence alignment of demonstrations. Consequently, Align-RUDDER employs reward redistribution effectively and, thereby, drastically improves learning on few demonstrations. Align-RUDDER outperforms competitors on complex artificial tasks with delayed rewards and few demonstrations. On the Minecraft ObtainDiamond task, Align-RUDDER is able to mine a diamond, though not frequently. Code is available at https://github.com/ml-jku/align-rudder. YouTube: https://youtu.be/HO-_8ZUl-UY

연구 동기 및 목표

• 희소하고 보상이 지연되는 환경에서 탐색이 열악하여 소수의 고보상 시범 트레이젝터리만 제공될 경우 강화학습의 샘플 비효율성 문제를 해결한다.
• RUDDER에서 사용하는 LSTMs와 같은 딥러닝 모델의 한계를 극복한다. 이는 효과적인 학습을 위해 대규모 시범 데이터셋이 필요로 한다는 점이다.
• 특히 다중 서열 정렬(MSA)을 포함한 생물정보학 기법을 응용하여, 최소한의 시범 데이터로부터 하위 작업의 구조를 포착하는 프로파일 모델을 구축한다.
• 정렬된 시범 트레이젝터리 시퀀스를 통해 하위 작업 경계를 식별함으로써 계층적 강화학습을 가능하게 하고, 효율적인 책임 할당과 보상 형태 조정을 지원한다.

제안 방법

• 고보상 시범 트레이젝터리의 다중 서열 정렬(MSA)을 수행하여 공통된 하위 작업 시퀀스를 포착하는 프로파일 모델을 구축한다.
• RUDDER에서 사용하는 LSTM 기반 보상 재분배 모델을 MSA 유도 프로파일 모델로 대체하여 소수의 시범 데이터로부터 Q함수 단계를 추정한다.
• 프로파일 모델이 기대 수익에 상당한 변화를 예측하는 상태-행동 쌍을 식별함으로써 보상 재분배를 수행한다. 이는 하위 작업 완료를 시사한다.
• 재분배된 보상을 PPO나 행동 복제의 피니튜닝과 같은 후행 강화학습 알고리즘의 내재적 형태 신호로 사용한다.
• 정렬된 하위 트레이젝터리에서 행동 복제(BC)를 사용해 하위 작업 에이전트를 훈련한 후, 재분배된 보상을 활용해 PPO 피니튜닝을 수행한다.
• 최종 에이전트를 MineRL 환경에 배포하고, 목표 아이템 수집 기반으로 주기적인 추론 및 모델 체크포인트 선택을 통해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 소수의 시범 데이터로부터 다중 서열 정렬(MSA)을 적용한 프로파일 모델이 희소 보상이 존재하는 복잡하고 계층적인 작업에서 하위 작업 경계를 효과적으로 식별할 수 있는가?
• RQ2 RUDDER의 LSTM 기반 보상 재분배 모델을 MSA 기반 프로파일 모델로 대체할 경우, 희소 시범 데이터 기반 행동 모방 및 강화학습에서 샘플 효율성이 향상되는가?
• RQ3 MSA를 통한 보상 재분배가 다이아몬드 확보와 같은 지연되고 희소한 보상이 존재하는 작업에서 학습 속도와 최종 성능 향상에 어느 정도 기여하는가?
• RQ4 소수의 고보상 시범 데이터만 제공될 경우, Align-RUDDER는 기준선 방법 및 RUDDER와 비교해 학습 효율성과 최종 성능 면에서 어떻게 성능을 내는가?

주요 결과

• Align-RUDDER는 표준 탐색 전략이 실패하는 MineRL ObtainDiamond 환경에서 소수의 고보상 시범 데이터만으로도 다이아몬드 채굴을 성공적으로 학습할 수 있었다.
• 희소하고 지연된 보상을 가진 인공 계층적 작업에서 경쟁 알고리즘보다 빠른 수렴 속도와 높은 샘플 효율성을 보였다.
• 제한된 시범 데이터로부터조차도 MSA 기반 프로파일 모델이 하위 작업 마일스톤을 효과적으로 식별하여 정확한 보상 재분배와 개선된 책임 할당을 가능하게 하였다.
• 정렬된 하위 트레이젝터리에서 행동 복제(BC)를 사용한 후 재분배된 보상을 활용한 PPO 피니튜닝은 강력한 정책 학습을 이끌었으며, 최종 에이전트는 목표 아이템 수집에서 높은 성능을 달성하였다.
• 최종 에이전트 훈련에 소요된 계산 비용은 도전 과제의 제약 조건 내에 있었으며(단일 GPU 노드에서 4일), 실용적 실행 가능성은 입증되었다.
• 실험당 10개의 시드만 사용함에도 불구하고 성능 향상이 두드러졌으며, 이는 극히 소수의 데이터로부터도 강력한 일반화 능력을 가짐을 시사한다.