[논문 리뷰] Self-Correcting Models for Model-Based Reinforcement Learning

Erik Talvitie|arXiv (Cornell University)|2016. 12. 19.

Reinforcement Learning in Robotics인용 수 22

한 줄 요약

이 논문은 모델 기반 강화 학습(MBRL)의 이론적 기반 접근법을 제안하여 롤아웃 중 오류를 자가 보정하도록 모델을 훈련시켜 계획의 견고성을 향상시킨다. Hallucinated DAgger with Model Correction(H-DAgger-MC)를 제안하며, 이는 다단계 예측 정확도를 향상시키고, 모델 클래스가 제한되어 있어도 성능 보장을 제공한다. 기존의 단일 단계 예측 오차 최소화 방식보다 뛰어나다.

ABSTRACT

When an agent cannot represent a perfectly accurate model of its environment's dynamics, model-based reinforcement learning (MBRL) can fail catastrophically. Planning involves composing the predictions of the model; when flawed predictions are composed, even minor errors can compound and render the model useless for planning. Hallucinated Replay (Talvitie 2014) trains the model to "correct" itself when it produces errors, substantially improving MBRL with flawed models. This paper theoretically analyzes this approach, illuminates settings in which it is likely to be effective or ineffective, and presents a novel error bound, showing that a model's ability to self-correct is more tightly related to MBRL performance than one-step prediction error. These results inspire an MBRL algorithm for deterministic MDPs with performance guarantees that are robust to model class limitations.

연구 동기 및 목표

• 모델의 표현적 한계로 인해 모델 기반 강화 학습(MBRL)이 실패할 때 이를 해결하기 위해.
• 표준 단일 단계 예측 오차가 모델 조합 상황에서 MBRL 성능의 나쁜 지표가 되는 이유를 밝히기 위해.
• 롤아웃 중 자가 보정을 통해 다단계 계획 정확도를 향상시키는 이론적 기반의 방법을 개발하기 위해.
• 허구적 훈련이 효과적 또는 비효율적인 조건을 분석하고, 훈련 중 안정성 문제를 규명하기 위해.
• 모델 클래스의 제한에 대해 강건한 성능 보장을 갖춘 새로운 MBRL 알고리즘을 유도하기 위해.

제안 방법

• 자신의 모델에서 생성된 잘못된 롤아웃을 입력으로 받아도 올바른 환경 상태를 예측하도록 훈련하는 메타알고리즘으로 허구적 리플레이를 도입한다.
• 허구적 롤아웃을 사용하여 모델이 자가 보정하도록 하는 DAgger의 변종인 H-DAgger-MC를 제안하며, 이는 장기 예측 정확도를 향상시킨다.
• 자기 보정 능력이 단일 단계 오차보다 MBRL 성능과 더 밀접하게 연관되어 있음을 보여주는 새로운 오차 경계를 유도한다.
• 각 시간 단계별로 별도의 모델을 사용하는 언롤드 모델을 활용하여 훈련 분포와 모델 파라미터를 분리함으로써 성능 저하를 유도하는 피드백 루프를 방지한다.
• 허구적 훈련이 성능 향상에 기여하는 이론적 조건을 분석하고, 표준 훈련보다 더 날카운 오차 경계를 제공하는 경우를 규명한다.
• 허구적 훈련의 안정성을 실증적으로 평가하여, 단일 모델 설정에서 깊은 롤아웃이 오류 전파로 인해 성능 저하를 유발할 수 있음을 밝혀냈다.

실험 결과

연구 질문

• RQ1 모델 롤아웃에서의 자가 보정이 단일 단계 예측 오차 최소화보다 MBRL 성능을 향상시키는 조건는 무엇인가?
• RQ2 왜 일부 설정에서는 허구적 훈련이 실패하며, 성공하기 위해 필요한 구조적 가정은 무엇인가?
• RQ3 자기 보정 훈련을 통해 모델 클래스의 제한을 극복할 수 있으며, 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 허구적 훈련에서 언롤드 모델과 공유 모델을 선택할 경우, 훈련 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 허구적 훈련에서 피드백 루프의 실용적 영향은 무엇이며, 어떻게 완화할 수 있는가?

주요 결과

• 새로운 이론적 오차 경계를 통해 자가 보정 능력이 단일 단계 오차보다 MBRL 성능과 더 밀접하게 연관되어 있음을 입증했다.
• H-DAgger-MC는 모델 클래스가 진정한 동역학을 완전히 표현할 수 없더라도 결정론적 MDP에서 성능 보장을 달성한다.
• 실험 결과, H-DAgger-MC는 언롤드 모델을 사용할 경우 단일 모델 설정에서 관찰된 성능 저하를 피할 수 있었으며, 깊은 롤아웃으로 인한 오류 피드백 루프가 발생하지 않았다.
• 단일 모델 설정에서 짧은 훈련 롤아웃이 성능 향상에 기여함을 확인하여, 잘라내기(truncation)가 실용적인 대안가능성을 제시하지만 이론적 보장은 없다.
• 단일 모델을 시간 단계 전역에 걸쳐 사용할 경우, 예측 오차와 훈련 분포 간 피드백으로 인해 오류가 증폭되어 허구적 훈련이 학습을 불안정하게 만들 수 있다.
• 모델 클래스의 제한에도 불구하고 이 방법은 모델과 플래너의 표현적 결함에 대해 강건함을 보이며 효과성을 유지한다.