[논문 리뷰] Self-Imitation Learning via Generalized Lower Bound Q-learning

Yunhao Tang|arXiv (Cornell University)|2020. 06. 12.

Reinforcement Learning in Robotics참고 문헌 48인용 수 11

한 줄 요약

이 논문은 n단계 하한 Q학습을 통한 일반화된 자기모방학습(SIL)을 제안하며, 원래 SIL을 확장하여 고도로 비정책적인 강화학습을 향상시키기 위해 고정된 오차와 수축률 사이의 균형을 이루는 통제된 양의 편향을 도입한다. 이 방법은 중요도 샘플링 없이도 고도로 비정책적인 데이터로부터 안정적이고 장기적인 학습을 가능하게 하여, 연속 제어 벤치마크에서 표준 PPO 및 기준 비정책 알고리즘보다 뛰어난 성능을 발휘한다.

ABSTRACT

Self-imitation learning motivated by lower-bound Q-learning is a novel and effective approach for off-policy learning. In this work, we propose a n-step lower bound which generalizes the original return-based lower-bound Q-learning, and introduce a new family of self-imitation learning algorithms. To provide a formal motivation for the potential performance gains provided by self-imitation learning, we show that n-step lower bound Q-learning achieves a trade-off between fixed point bias and contraction rate, drawing close connections to the popular uncorrected n-step Q-learning. We finally show that n-step lower bound Q-learning is a more robust alternative to return-based self-imitation learning and uncorrected n-step, over a wide range of continuous control benchmark tasks.

연구 동기 및 목표

• 자기모방학습(SIL)을 원래의 수익 기반 수식을 초월해 더 넓은 유연성과 적용 가능성을 확보하기 위해 형식화하고 일반화하는 것.
• SIL에서 고정점 편향과 수축률 사이의 상호 상충 관계를 분석하고, 수정되지 않은 n단계 Q학습과 이론적 유사성을 도출하는 것.
• 다양한 연속 제어 환경에서 수정되지 않은 n단계 Q학습과 수익 기반 SIL보다 더 일관되고 뛰어난 성능을 보이는 일반화된 SIL의 실증적 성과를 입증하는 것.
• 높은 분산을 피하면서도 비정책 데이터로부터 효과적으로 학습할 수 있도록, 중요도 샘플링 기반 비정책 방법의 이론적으로 탄탄한 대안을 제공하는 것.

제안 방법

• 원래의 수익 기반 하한을 부분적인 궤적과 학습된 Q함수로 확장한 일반화된 n단계 하한 Q학습 연산자 제안.
• n단계 하한을 타겟으로 사용하는 자기모방학습 알고리즘의 가족을 도입하여, 고성능 행동 정책 전이로부터 부트스트랩할 수 있도록 하는 것.
• 학습된 Q함수를 사용해 하한을 부트스트랩하여, 희박하거나 지연된 보상을 가진 환경에서도 알고리즘이 효과적으로 작동하도록 하는 것.
• 평가 연산자의 고정점에 양의 편향을 도입하여, 고수익 행동 궤적에서의 학습을 체계적으로 장려하는 것.
• 원래 SIL의 적용 범위를 초월해 결정성 및 확률적 액터-크리틱 프레임워크 모두에 적용하여 적용 가능성을 넓히는 것.
• 장기적인 보상 할당과 분산 감소를 균형 잡기 위해 잘린 n단계 수익 수식을 사용하여, 전체 중요도 샘플링을 피하는 것.

실험 결과

연구 질문

• RQ1 자기모방학습은 수익 기반 수식을 초월해 어떻게 일반화될 수 있으며, 표본 효율성과 유연성 향상에 기여할 수 있는가?
• RQ2 n단계 하한 Q학습에서 고정점 편향과 수축률 사이의 이론적 상충 관계는 무엇이며, 수정되지 않은 n단계 Q학습과 비교해 봤을 때 어떻게 다른가?
• RQ3 일반화된 n단계 하한 Q학습 접근법은 다양한 연속 제어 벤치마크에서 수익 기반 SIL과 수정되지 않은 n단계 Q학습보다 뛰어난 성능을 보일 수 있는가?
• RQ4 하한 연산자에 유도된 양의 편향은 수정되지 않은 n단계 방법에서의 임의의 편향보다 더 안정적이고 일관된 학습을 이끌어내는가?
• RQ5 n의 선택은 다양한 환경에서 성능에 어떻게 영향을 미치며, 각 작업에 맞게 n을 적응시키는 데 유의미한 이점이 있는가?

주요 결과

• 일반화된 n단계 하한 Q학습은 수정되지 않은 n단계 Q학습과 유사한 고정점 편향과 수축률 사이의 유리한 균형을 달성하지만, 정책 향상과 일치하는 보장된 양의 편향을 갖는다.
• 이 방법은 네 가지 OpenAI Gym 연속 제어 벤치마크인 HalfCheetah, Ant, Walker2d, Humanoid에서 표준 PPO 및 기준 비정책 알고리즘을 모두 초월한다.
• Ant와 Humanoid에서 n=5로 설정한 일반화된 SIL은 표준 SIL(n→∞)보다 유의미하게 뛰어난 성능을 보이며, 이는 중간 수준의 n 값이 전체 수명 주기 모방보다 더 효과적일 수 있음을 시사한다.
• 일반화된 SIL과 수익 기반 SIL 간의 성능 격차는 Humanoid와 같이 장기적 보상 할당이 핵심적인 복잡한 환경에서 가장 두드러진다.
• 일반화된 SIL은 다양한 작업에서 뛰어난 강건성을 보이며, 특히 희박한 보상 환경에서 수정되지 않은 n단계 Q학습과 수익 기반 SIL보다 일관된 향상을 보인다.
• 실증 결과는 환경에 맞게 n을 적응시키는 것이 고정된 큰 n을 사용하는 것보다 더 뛰어난 성능을 낼 수 있음을 보여주며, 이는 n이 실용적 영향을 미치는 조정 가능한 하이퍼파라미터임을 시사한다.