[논문 리뷰] Adaptive Online Planning for Continual Lifelong Learning

Kevin Lü, Igor Mordatch외 1명|arXiv (Cornell University)|2019. 12. 03.

Reinforcement Learning in Robotics참고 문헌 39인용 수 8

한 줄 요약

이 논문은 비정적이고 리셋이 없는 수명 주기 학습 환경에서 효율적이고 강건하며 적응적인 제어를 가능하게 하는 하이브리드 알고리즘인 적응형 온라인 계획(Adaptive Online Planning, AOP)을 제안한다. AOP는 모델 기반 계획과 모델 자유 강화학습을 동적으로 통합하여, 앙상블의 가치 함수로부터 추정한 불확실성 정보를 활용해 계획 빈도를 제어함으로써 계산 비용을 감소시키면서도 높은 성능를 유지하고, 예측 불가능한 세계 변화에 빠르게 적응한다. 이는 동적 환경에서 순수한 강화학습과 순수한 계획 기반 기준보다 뛰어난 성능을 보인다.

ABSTRACT

We study learning control in an online reset-free lifelong learning scenario, where mistakes can compound catastrophically into the future and the underlying dynamics of the environment may change. Traditional model-free policy learning methods have achieved successes in difficult tasks due to their broad flexibility, but struggle in this setting, as they can activate failure modes early in their lifetimes which are difficult to recover from and face performance degradation as dynamics change. On the other hand, model-based planning methods learn and adapt quickly, but require prohibitive levels of computational resources. We present a new algorithm, Adaptive Online Planning (AOP), that achieves strong performance in this setting by combining model-based planning with model-free learning. By approximating the uncertainty of the model-free components and the planner performance, AOP is able to call upon more extensive planning only when necessary, leading to reduced computation times, while still gracefully adapting behaviors in the face of unpredictable changes in the world -- even when traditional RL fails.

연구 동기 및 목표

• 에피소드 리셋이 없는 비정적 환경에서 실수의 영향이 누적되고 동역학이 예측 불가능하게 변화하는 지속적 수명 주기 학습의 과제를 해결한다.
• 분포 변화가 발생할 경우 느린 적응과 성능 저하를 겪는 순수한 모델 자유 강화학습의 한계를 극복한다.
• 순수한 모델 기반 계획의 높은 계산 비용을 줄이면서도 세계 변화에 대한 신속한 적응을 유지한다.
• 불확실성에 기반해 계획과 학습된 행동 간에 지능적으로 전환하는 메커니즘을 개발하여 효율적이고 안전한 의사결정을 가능하게 한다.
• 모델 자유 경험과 적응형 계획을 융합함으로써 동적 제어 과제에서 뛰어난 성능와 강건성을 확보함을 입증한다.

제안 방법

• 정확한 롤아웃 생성을 위해 진짜 동역학 모델을 통합하여, 모델 학습 오버헤드 없이 정밀한 계획을 가능하게 한다.
• 모델 자유 정책의 불확실성을 추정하기 위해 가치 함수의 앙상블을 사용하여, 언제 계획을 실행할지를 지시한다.
• 불확실성이 높을 때에만 전체 계획을 활성화하는 스위칭 메커니즘을 구현하여 안정된 기간에는 계산을 줄인다.
• 모델 자유 정책 최적화와 모델 기반 계획을 통합하는 유일한 업데이트 규칙을 제안하여 두 방법 간의 원활한 보간을 가능하게 한다.
• 계획기의 성능을 신호로 활용해 모델 자유 정책을 개선하고, 장기적 계획 경험을 효율적인 행동으로 정제한다.
• 에피소드 리셋 없이 매 타임스텝에서 계획과 정책 학습이 동시에 이루어지는 지속적인 온라인 학습 루프를 유지한다.

실험 결과

연구 질문

• RQ1 모델 기반 계획과 모델 자유 학습을 융합한 하이브리드 접근법이 비정적이고 리셋이 없는 지속적 학습 환경에서 강건한 성능를 달성할 수 있는가?
• RQ2 모델 자유 구성 요소의 불확실성을 효과적으로 활용해 고비용 계획 계산을 게이트링할 수 있는가? 이때 적응 능력은 손상되지 않는가?
• RQ3 세계 동역학이 변화할 때 모델 자유 정책이 얼마나 오랫동안 성능를 유지할 수 있으며, 이 성능 저하를 어떻게 완화할 수 있는가?
• RQ4 필요한 경우에만 계획을 활성화하는 적응형 계산 방식이 계산 비용을 크게 줄일 수 있는가? 이는 높은 성능 유지와 함께 가능한가?
• RQ5 순수한 모델 자유 강화학습과 순수한 모델 기반 계획과 비교할 때, 제안된 방법은 적응 속도, 안정성, 장기적 성능 측면에서 어떻게 다른가?

주요 결과

• AOP는 시간이 지남에 따라 계획 단계 수를 줄여 계산 비용을 크게 감소시키며, 특히 같은 작업을 반복 방문할수록 이는 더욱 두드러진다. 이는 스위칭 메커니즘이 효과적으로 적응하고 있음을 시사한다.
• 갑작스럽게 목표 속도가 변화하는 Hopper 환경에서 AOP는 신속하고 안정적으로 적응하지만, TD3는 치명적인 실패를 겪고 MPC는 혼란스러운 행동을 보인다.
• 비정적 환경에서 AOP는 PPO와 TD3를 모두 능가하며, 세계 동역학이 변화함에도 불구하고 높은 성능를 유지한다. 반면 이러한 방법들은 시간이 지남에 따라 성능가 저하된다.
• 불확실성 추정을 위해 가치 함수의 앙상블을 사용함으로써 계획의 정확하고 신뢰할 수 있는 트리거링이 가능해져 효율적인 계산이 가능해졌다.
• AOP는 훨씬 더 높은 계산 비용을 요구하는 MPC 기준보다도 경쟁 가능한 성능를 달성하여, 적응형 계획이 훨씬 낮은 비용으로 고정밀 계획에 근접할 수 있음을 보여준다.
• 기존의 리PLAY나 작업별 메모리에 의존하지 않기 때문에 전통적인 의미의 치명적인 기억 상실에 강건하지만, 불확실성 인식 기반의 계획을 통해 새로운 동역학에 동적으로 적응한다.