[논문 리뷰] Forward-Backward Reinforcement Learning

Ashley D. Edwards, Laura Downs외 1명|arXiv (Cornell University)|2018. 03. 27.

Reinforcement Learning in Robotics참고 문헌 12인용 수 20

한 줄 요약

이 논문은 후방 동역학 모델을 학습하여 목표 상태에서 역행적 경로를 상상함으로써 희박 보상 환경에서 학습을 가속화하는 Forward-Backward Reinforcement Learning (FBRL)을 제안한다. 이는 에이전트가 역행적으로 사고하고 보상을 더 효과적으로 전파할 수 있도록 한다. FBRL은 그리드월드와 타워 오브 하노이에서 표준 DDQN보다 우수한 성능을 보이며, 특히 고수평 작업에서 유의미한 성능 향상을 보인다. 이는 샘플 효율성 향상과 가치 함수 일반화 향상을 위해 유도된 역행 롤아웃을 활용하기 때문이다.

ABSTRACT

Goals for reinforcement learning problems are typically defined through hand-specified rewards. To design such problems, developers of learning algorithms must inherently be aware of what the task goals are, yet we often require agents to discover them on their own without any supervision beyond these sparse rewards. While much of the power of reinforcement learning derives from the concept that agents can learn with little guidance, this requirement greatly burdens the training process. If we relax this one restriction and endow the agent with knowledge of the reward function, and in particular of the goal, we can leverage backwards induction to accelerate training. To achieve this, we propose training a model to learn to take imagined reversal steps from known goal states. Rather than training an agent exclusively to determine how to reach a goal while moving forwards in time, our approach travels backwards to jointly predict how we got there. We evaluate our work in Gridworld and Towers of Hanoi and empirically demonstrate that it yields better performance than standard DDQN.

연구 동기 및 목표

• 랜덤 탐색을 통해 목표 상태를 발견하기 어려운 희박 보상 환경에서의 샘플 비효율성 문제를 해결하기 위해.
• 목표 상태에 대한 지식을 통합함으로써 목표에서 역행적으로 사고할 수 있도록 하여 학습을 가속화할 수 있는지 탐색하기 위해.
• 전방 및 후방 상상 능력을 통합하여 가치 함수 학습과 정책의 샘플 효율성을 향상시키는 방법을 개발하기 위해.
• 희박 보상 환경에서 표준 모델-자유 강화 학습보다 빠른 수렴과 더 나은 성능을 보이는지 경험적으로 검증하기 위해.

제안 방법

• FBRL는 알려진 목표 상태에서 상태 변화를 역행적으로 예측하는 학습된 후방 동역학 모델을 도입하여, 에이전트가 역행적 경로를 시뮬레이션할 수 있도록 한다.
• 후방 모델은 행동에 의해 유도되는 상태 변화를 역행적으로 예측하도록 훈련되며, 예를 들어 그리드월드에서는 Δx 및 Δy 변화를, 타워 오브 하노이에서는 비트 플립 변화를 예측한다.
• 이 방법은 후방 상상 기능을 DDQN 프레임워크에 통합하여 실제 경험과 함께 상상된 후방 경험을 이용해 Q-값을 업데이트한다.
• 이중 스트림 훈련 과정은 시작 상태에서의 전방 롤아웃과 목표에서의 후방 롤아웃을 번갈아 수행하며, 경험 리プレイ는 실제 및 상상된 전이를 모두 저장한다.
• 후방 모델은 예측된 역행 상태 전이와 실제 전이 간의 차이를 최소화하는 손실 함수를 사용하여 환경의 진짜 동역학에 충실하도록 업데이트된다.
• 예를 들어 그리드월드에서는 10단계, 타워 오브 하노이에서는 5단계의 비동기 롤아웃을 사용하여 가치 함수 부트스트랩을 위한 다양한 후방 경로를 생성한다.

실험 결과

연구 질문

• RQ1 알려진 목표 상태에서의 후방 상상이 희박 보상 환경에서의 샘플 효율성을 향상시킬 수 있는가?
• RQ2 전방 및 후방 롤아웃을 통합하면 고수평 작업에서 표준 모델-자유 강화 학습보다 수렴 속도가 더 빠른가?
• RQ3 작업 복잡도와 보상 희박성 증가에 따라 FBRL의 성능은 DDQN에 비해 어떻게 다를까?
• RQ4 후방 상상은 부분 관측 가능하거나 구조화된 환경에서 가치 함수 일반화와 정책 학습에 어떤 영향을 미치는가?

주요 결과

• 그리드월드에서는 FBRL가 표준 DDQN보다 유의미하게 뛰어난 성능을 보였으며, 격자 크기가 5×5에서 20×20으로 증가함에 따라 성능 격차가 커져 고수평 작업에 대한 우수한 확장성을 보였다.
• 타워 오브 하노이에서는 특히 디스크 수가 많을수록(n=3) FBRL이 DDQN보다 더 나은 학습 성능을 보였으며, 이는 조합적이고 구조화된 환경에서의 효과성을 입증한다.
• 단기 수평 작업에서는 성능 저하가 없었으며, 이는 후방 상상이 표준 학습 동역학에 간섭하지 않음을 시사한다.
• 3디스크 타워 오브 하노이에서는 FBRL의 성능이 약간 저하되었는데, 이는 후방 모델의 과적합 가능성으로 인한 것으로 보이며, 모델 용량과 일반화 능력에 민감할 수 있음을 시사한다.
• 후방 모델은 초기에 국소적 동역학을 성공적으로 포착했고 점차 벽 위치와 같은 전반적 제약 조건을 학습하여 시간이 지남에 따라 가치 함수 정확도가 향상되었다.
• 후방 상상 통합으로 인해 수렴 속도가 빨라지고 학습 곡선이 더 안정적이게 되었으며, 특히 탐색이 어려운 희박 보상 환경에서 두드러진 효과를 보였다.