[논문 리뷰] Adversarial Intrinsic Motivation for Reinforcement Learning

Ishan Durugkar, Mauricio Tec외 2명|arXiv (Cornell University)|2021. 05. 27.

Reinforcement Learning in Robotics참고 문헌 67인용 수 4

한 줄 요약

이 논문은 목표 조건부 강화 학습을 위한 새로운 내재 보상 메커니즘인 적대적 내재 동기(AIM)를 제안한다. 이는 에이전트의 상태 방문 분포와 목표에 집중된 타깃 분포 사이의 워셔스타인-1 거리(Wasserstein-1 distance)를 사용한다. 이 거리를 MDP에 특화된 준거리측도(quasimetric, 시간단계 거리)를 통해 측정함으로써, 비유클리드 상태 공간에서도 안정적으로 추정할 수 있으며, 이로 인해 목표에 도달하기까지의 평균 단계 수를 최소화하는 부드럽고 정보가 풍부한 보상을 생성한다. 이 보상은 허슬리 경험 재생(HER)과 조합될 경우 학습 속도를 크게 향상시킨다.

ABSTRACT

Learning with an objective to minimize the mismatch with a reference distribution has been shown to be useful for generative modeling and imitation learning. In this paper, we investigate whether one such objective, the Wasserstein-1 distance between a policy's state visitation distribution and a target distribution, can be utilized effectively for reinforcement learning (RL) tasks. Specifically, this paper focuses on goal-conditioned reinforcement learning where the idealized (unachievable) target distribution has full measure at the goal. This paper introduces a quasimetric specific to Markov Decision Processes (MDPs) and uses this quasimetric to estimate the above Wasserstein-1 distance. It further shows that the policy that minimizes this Wasserstein-1 distance is the policy that reaches the goal in as few steps as possible. Our approach, termed Adversarial Intrinsic Motivation (AIM), estimates this Wasserstein-1 distance through its dual objective and uses it to compute a supplemental reward function. Our experiments show that this reward function changes smoothly with respect to transitions in the MDP and directs the agent's exploration to find the goal efficiently. Additionally, we combine AIM with Hindsight Experience Replay (HER) and show that the resulting algorithm accelerates learning significantly on several simulated robotics tasks when compared to other rewards that encourage exploration or accelerate learning.

연구 동기 및 목표

• 에이전트가 학습 신호를 받기 위해 광범위한 무작위 탐색이 필요한 목표 조건부 강화 학습에서의 희소 보상 문제를 해결한다.
• 행동 분포와 타깃 분포 사이의 분포 불일치를 최소화하여, 최적 정책을 왜곡하지 않으면서 작업에 특화된 내재 보상을 개발한다.
• 마르코프 결정 과정(MDP)에 특화된 준거리측도인 시간단계 거리(time-step metric)를 도입하여, 비유클리드 상태 공간에서 워셔스타인-1 거리를 측정한다.
• 샘플된 전이를 통해 워셔스타인-1 거리를 추정하기 위한 双목적 최적화 프레임워크를 설계하여 확장 가능하고 안정적인 학습을 가능하게 한다.
• 결과로 도출된 내재 보상을 허슬리 경험 재생(HER)과 통합하여, 작업 보상 수정 없이도 복잡한 로봇 환경에서 학습을 가속화한다.

제안 방법

• 에이전트의 상태 간 전이에 필요한 최소 단계 수에 기반한 MDP 전용 준거리측도인 시간단계 거리(time-step metric)를 정의하여, 비유클리드 환경에서도 의미 있는 워셔스타인-1 거리 계산을 가능하게 한다.
• 워셔스타인-1 거리의 이중 형식(dual formulation)을 사용하여, 에이전트의 상태 방문 분포와 이상적인 타깃 분포(목표 지점에서의 델타 측도) 사이의 분포 불일치를 추정한다.
• 이중 목표에서 잠재값 임계값의 차이를 최대화하도록 크리틱 네트워크를 훈련시키며, 시간단계 거리를 기반으로 한 정규화를 도입하여 일반화성과 안정성을 확보한다.
• 추정된 워셔스타인-1 거리를 기반으로 내재 보상 함수를 구성하여, 목표에 도달하기까지의 평균 단계 수를 최소화하도록 유도한다.
• AIM 내재 보상과 허슬리 경험 재생(HER)을 통합하여, 전이를 재라벨링하고 희소 작업 보상에서도 효율적으로 학습할 수 있도록 한다.
• 표준 하이퍼파rameter와 액션 클리핑, Huber 손실과 같은 정규화 기법을 사용하여, 태스크 보상과 AIM 내재 보상을 결합한 정책을 오프-폴리시 딥 RL 알고리즘(TD3 등)으로 최적화한다.

실험 결과

연구 질문

• RQ1 에이전트의 상태 방문 분포와 목표 중심 타깃 분포 사이의 워셔스타인-1 거리를 최소화하는 것이 강화 학습에서 목표 도달 속도와 효율성을 향상시키는가?
• RQ2 MDP에 특화된 준거리측도인 시간단계 거리를 사용할 경우, 유클리드 거리와 비교해 비유클리드 상태 공간에서 분포 불일치를 더 의미 있고 안정적으로 추정할 수 있는가?
• RQ3 샘플된 전이를 통해 워셔스타인-1 거리의 이중 형식을 효과적으로 최적화하여 부드럽고 정보가 풍부한 내재 보상 신호를 도출할 수 있는가?
• RQ4 AIM과 허슬리 경험 재생(HER)의 조합이, 희소 또는 밀도 외재 보상과 함께 HER를 사용할 때 학습 속도와 최종 성능 측면에서 어떻게 비교되는가?
• RQ5 시간단계 거리를 사용하여 워셔스타인-1 거리를 최소화하면, 특히 결정론적 환경에서 목표에 도달하기까지의 평균 단계 수를 최소화하는 정책을 도출할 수 있는가?

주요 결과

• 시간단계 거리를 사용하여 워셔스타인-1 거리를 최소화하는 정책은 목표에 도달하는 데 필요한 평균 단계 수를 최소화하며, 결정론적 환경에서는 최적의 정책이다.
• AIM은 환경 전이에 따라 연속적으로 변화하는 매끄러운 내재 보상을 생성하여, 학습을 불안정하게 만들 수 있는 급격한 보상 신호를 방지한다.
• 허슬리 경험 재생(HER)과 조합되었을 때, AIM는 시뮬레이션된 로봇 작업(Fetch 환경)에서 실제 목표까지의 거리를 밀도 보상으로 사용했을 때와 유사한 수준의 학습 가속화를 달성한다.
• AIM+HER 알고리즘은 희소 작업 보상만을 사용하는 HER보다 빠른 수렴 속도와 더 높은 샘플 효율성을 보이며, 높은 성능에 도달하기 위해 필요한 타임스텝 수를 크게 줄였다.
• Fetch 로봇 환경(Fetch의 Reach, Push, Slide, Pick and Place 작업)에서의 실험 결과, AIM+HER는 희소 보상과 밀도 보상 모두를 사용하는 HER보다 학습 속도와 최종 성공률 측면에서 뛰어난 성능을 보였다.
• 이 방법은 확률적 역학에 대해 강건하며 다양한 목표 조건부 제어 작업에 일반화되어 일관된 성능 향상을 보이며, 작업에 특화된 보상 형상화 없이도 성능 향상을 달성한다.