[논문 리뷰] Beyond Fine-Tuning: Transferring Behavior in Reinforcement Learning

Víctor Campos, Pablo Sprechmann외 6명|arXiv (Cornell University)|2021. 02. 24.

Reinforcement Learning in Robotics참고 문헌 59인용 수 12

한 줄 요약

이 논문은 보상이 없는 환경에서 내재적 호기심(NGU)을 통해 사전 훈련된 정책을 활용하여 최종 강화학습 작업에서 구조화된 탐색을 수행하는 행동 전이(Behavior Transfer, BT)를 소개한다. BT는 가중치 미세조정과 보완적으로 작용하며, 사전 훈련된 정책을 탐색 전략과 의사행동(pseudo-action)으로 사용함으로써 몬테주마의 복수와 디펜더와 같은 복잡한 환경에서 뛰어난 성능을 달성한다. 특히 사전 훈련된 행동이 작업과 정렬되지 않은 경우에 유의미한 성능 향상을 보인다.

ABSTRACT

Designing agents that acquire knowledge autonomously and use it to solve new tasks efficiently is an important challenge in reinforcement learning. Knowledge acquired during an unsupervised pre-training phase is often transferred by fine-tuning neural network weights once rewards are exposed, as is common practice in supervised domains. Given the nature of the reinforcement learning problem, we argue that standard fine-tuning strategies alone are not enough for efficient transfer in challenging domains. We introduce Behavior Transfer (BT), a technique that leverages pre-trained policies for exploration and that is complementary to transferring neural network weights. Our experiments show that, when combined with large-scale pre-training in the absence of rewards, existing intrinsic motivation objectives can lead to the emergence of complex behaviors. These pre-trained policies can then be leveraged by BT to discover better solutions than without pre-training, and combining BT with standard fine-tuning strategies results in additional benefits. The largest gains are generally observed in domains requiring structured exploration, including settings where the behavior of the pre-trained policies is misaligned with the downstream task.

연구 동기 및 목표

• 사전 훈련 이후 최종 강화학습 작업에서 비구조화된 탐색의 비효율성을 해결한다.
• 미세조정 중 사전 훈련된 행동을 유지함으로써 정책 전이에서 치명적인 잊힘(catastrophic forgetting) 문제를 완화한다.
• 장기적 탐색이 필요한 구조화된 탐색이 요구되는 환경에서 더 효과적인 전이를 가능하게 한다.
• 사전 훈련된 행동이 신경망 가중치와 별개로 활용될 수 있음을 보여주어 샘플 효율성을 향상시킬 수 있음을 입증한다.
• 어려운 강화학습 벤치마크에서 행동 전이와 가중치 미세조정 간의 상호보완성에 대해 탐구한다.

제안 방법

• 보상이 없는 환경에서 내재적 호기심(NGU) 목적함수를 사용해 정책를 사전 훈련하여 복잡한 탐색 행동을 학습한다.
• 사전 훈련된 정책를 시간적으로 연장된 탐색 전략으로 사용: 훈련 중 무작위로 일정 수의 단계 동안 활성화한다.
• 사전 훈련된 정책를 에이전트의 행동 공간에 의사행동(pseudo-action)으로 도입하여, 행동 선택을 이 정책에 위임할 수 있도록 한다.
• BT를 표준 가중치 미세조정과 결합하며, 사전 훈련된 인코더 가중치로 신경망을 초기화한다.
• BT를 통해 수집된 경험과 사전 훈련된 행동을 활용하기 위해 비정책 기반 학습 알고리즘(R2D2 등)을 적용한다.
• 다양한 Atari 환경에서 보상 희박성과 사전 훈련된 행동의 작업 정렬 정도가 다른 경우에 BT를 평가한다.

실험 결과

연구 질문

• RQ1 보상 없이 훈련된 사전 훈련된 정책가 최종 강화학습 작업에서 탐색에 효과적으로 재사용될 수 있는가?
• RQ2 사전 훈련된 행동이 최종 작업과 정렬되지 않은 경우 행동 전이(BT)가 표준 미세조정보다 뛰어나게 성능을 발휘하는가?
• RQ3 다양한 환경에서 샘플 효율성과 최종 성능 측면에서 BT는 미세조정과 비교해 어떻게 성능을 내는가?
• RQ4 BT와 가중치 미세조정이 복잡하고 보상이 희박한 환경에서 얼마나 상호보완적인 이점을 제공하는가?
• RQ5 내재적 호기심 목적함수(예: NGU)가 보상 감독 없이도 효과적인 전이를 가능하게 하는 사전 훈련된 정책를 생성할 수 있는가?

주요 결과

• BT는 몬테주마의 복수와 디펜더와 같은 환경에서 표준 미세조정보다 뛰어나게 성능을 발휘하며, 각각 최종 점수 13,265.91 ± 372.02, 566,938.61 ± 2,428.52를 기록한다.
• Ms. 팩맨의 보상 희박한 변형(hard)에서는 BT가 7,868 ± 1,085를 기록하여 R2D2(2,836 ± 26)와 미세조정된 NGU(1,891 ± 1,342)를 모두 초월한다.
• 거짓 보상이 존재하는 히어로 환경에서는 BT가 3,547 ± 122를 기록하여 R2D2(2,677 ± 23)와 미세조정된 NGU(700 ± 0)를 모두 뛰어넘는다.
• BT와 완전한 가중치 초기화를 조합하면 가장 높은 성능을 기록하며, BT(π_NGU)는 '업 엔 다운'에서 582,923.55 ± 2,849.01을 기록하여 단독으로 미세조정을 수행한 경우(562,739.02 ± 8,527.59)보다 높은 성능을 기록한다.
• 사전 훈련된 정책가 최종 작업에서 낮은 성능을 보일 경우(일부 변형에서 음수 점수 기록)에도 BT는 높은 성능을 유지하며 행동 정렬 불일치에 대한 강건성을 보여준다.
• 절단 분석 결과, 비행 기반 탐색과 의사행동 사용이 성능 향상에 독립적으로 기여하며, 두 요소를 조합할 경우 다양한 게임에서 최고의 성능을 기록한다.