[논문 리뷰] Adapting Behaviour via Intrinsic Reward: A Survey and Empirical Study

Cam Linke, Nadia M. Ady외 3명|arXiv (Cornell University)|2019. 06. 19.

Reinforcement Learning in Robotics참고 문헌 79인용 수 9

한 줄 요약

이 논문은 환경 보상이 희박하거나 존재하지 않는 상황에서 효율적인 다중예측 학습을 위해 학습 진전 기반 내재 보상(intrinsic rewards)을 사용하는 강화학습 프레임워크를 제안한다. 개별 학습자가 스스로 학습 속도를 조정함으로써 내재 보상의 간단한 형태인 Weight Change가 더 복잡한 대안들보다 뛰어나게 성능을 발휘하며, 이는 희박한 보상 환경에서 효과적인 탐색과 안정적인 학습을 가능하게 하며 최소한의 하이퍼파라미터 튜닝으로도 구현 가능하다.

ABSTRACT

Learning about many things can provide numerous benefits to a reinforcement learning system. For example, learning many auxiliary value functions, in addition to optimizing the environmental reward, appears to improve both exploration and representation learning. The question we tackle in this paper is how to sculpt the stream of experience---how to adapt the learning system's behavior---to optimize the learning of a collection of value functions. A simple answer is to compute an intrinsic reward based on the statistics of each auxiliary learner, and use reinforcement learning to maximize that intrinsic reward. Unfortunately, implementing this simple idea has proven difficult, and thus has been the focus of decades of study. It remains unclear which of the many possible measures of learning would work well in a parallel learning setting where environmental reward is extremely sparse or absent. In this paper, we investigate and compare different intrinsic reward mechanisms in a new bandit-like parallel-learning testbed. We discuss the interaction between reward and prediction learners and highlight the importance of introspective prediction learners: those that increase their rate of learning when progress is possible, and decrease when it is not. We provide a comprehensive empirical comparison of 14 different rewards, including well-known ideas from reinforcement learning and active learning. Our results highlight a simple but seemingly powerful principle: intrinsic rewards based on the amount of learning can generate useful behavior, if each individual learner is introspective.

연구 동기 및 목표

• 환경 보상이 희박하거나 존재하지 않는 다중예측 강화학습 환경에서 내재 보상이 행동을 어떻게 이끌 수 있는지 조사하기 위해.
• 공유된 경험을 공유하는 병렬 학습 환경에서 다양한 내재 보상 메커니즘의 효과를 평가하기 위해.
• 학습 진전에 기반해 스스로 학습 속도를 조절하는 자각 학습자(introspective learners)가 내재 보상 시스템의 성능을 향상시키는지 확인하기 위해.
• 내재 보상 메커니즘을 테스트하기 위한 새로운 밴딧 유사 벤치마크를 개발하고 검증하기 위해.
• 복잡한 내재 보상이 반드시 필요하다는 가정을 도전하며, 대신 단순하고 하이퍼파라미터가 없는 보상이 자각 학습자와 조합될 경우 효과적일 수 있음을 제안하기 위해.

제안 방법

• 보조 가치 함수 학습자들의 학습 진전에서 유도된 내재 보상으로 다중예측 학습을 강화학습 문제로 재정의한다.
• 활성 학습, 호기심, 예측 오차와 같은 잘 알려진 개념을 병렬 학습 환경에 적응시킨 14개의 고유한 내재 보상 메커니즘을 정의한다.
• 에이전트가 노이즈가 많은 결과를 피하고, 비정적 동역학을 추적하며, 일관된 학습 진전을 추구해야 하는 밴딧 유사 테스트베드를 신규로 구현한다.
• 충분한 탐색을 보장하기 위해 확률적 행동 정책을 사용하며, 내재 보상은 모든 예측 학습자 간의 최적화된 학습을 위해 행동 선택을 형성한다.
• 자각 학습자 개념을 도입: 학습 진전 여부에 따라 스스로 학습 속도를 조절하는 학습자로, Adam과 같은 적응형 최적화 방법을 사용한다.
• 모든 14개의 내재 보상 메커니즘을 제어된 실증 연구에서 평가하여 학습 효율성, 안정성, 그리고 노이즈 상태에서의 지연 행동(dawdling)과 같은 탈선 행동 회피 능력을 측정한다.

실험 결과

연구 질문

• RQ1 학습 진전 기반 간단한 내재 보상(예: 가중치 변화)이 다중예측 학습에서 더 복잡한 내재 보상 메커니즘보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 개별 학습자의 자각 능력(학습 속도 자율 조절)이 내재 보상 시스템의 성능에 어떤 영향을 미치는가?
• RQ3 학습 진전을 측정하는 내재 보상은 환경 보상이 희박하거나 지연되는 환경에서 효과적인 행동을 이끌 수 있는가?
• RQ4 어떤 내재 보상 메커니즘이 노이즈가 많거나 정보가 없는 결과에서의 지연 행동을 효과적으로 방지하는가?
• RQ5 간단하고 하이퍼파라미터가 없는 내재 보상이 자각 학습자와 조합될 경우 효과적인 다중예측 학습을 위해 충분한가?

주요 결과

• 벤치마크에서 내재 보상이 학습량에 기반한 것—특히 Weight Change—가 가장 뛰어난 전체 성능을 기록했으며, 더 복잡한 보상 메커니즘을 능가했다.
• 학습 진전에 따라 스스로 학습 속도를 조절하는 자각 학습자가 안정적이고 효과적인 학습을 위해 필수적이었으며, 이들의 부재로 인해 단순한 보상조차도 탈선 행동을 유도했다.
• Weight Change 내재 보상은 네트워크 가중치의 노름화된 차이를 업데이트 전후로 측정하며, 테스트된 모든 환경에서 일관되게 유용한 행동을 유도했다.
• 연구 결과에 따르면 복잡한 내재 보상이 반드시 더 나은 성능을 내는 것은 아니며, 자각 학습자와 조합된 단순한 기반 보상이 가장 효과적이라는 것이 확인되었다.
• 벤치마크 결과에 따르면, 내재 보상이 실제 학습 진전을 반영할 경우, 에이전트는 비정적 결과를 효과적으로 추적하고 노이즈가 많은 상태를 피할 수 있었다.
• 결과적으로 이 연구는 패러다임 전환을 제안한다: 보다 복잡한 내재 보상 설계를 하기보다는, 기본 학습자의 자각 능력을 향상시키는 데 초점을 맞춰야 한다.