[논문 리뷰] Hallucinating Value: A Pitfall of Dyna-style Planning with Imperfect Environment Models

Taher Jafferjee, Ehsan Imani외 3명|arXiv (Cornell University)|2020. 06. 08.

Reinforcement Learning in Robotics참고 문헌 18인용 수 6

한 줄 요약

이 논문은 '환각 상태'(실제 환경에 존재하지 않지만 부정확한 환경 모델에 의해 시뮬레이션되는 상태)가 다이나 스타일 계획에서 심각한 실패 원인임을 규명한다. 환각 가치 가설(Hallucinated Value Hypothesis, HVH)을 제안하며, 실존 상태의 가치를 존재하지 않는 환각 상태의 가치로 갱신할 경우 정책 성능이 떨어짐을 보여준다. 실험을 통해 표준 다이나 변형 알고리즘은 모델 오차 하에서 실패하는 반면, 새로운 알고리즘인 멀티스텝 프리디세서 다이나는 이러한 갱신을 피하고 안정된 성능을 유지함을 입증한다.

ABSTRACT

Dyna-style reinforcement learning (RL) agents improve sample efficiency over model-free RL agents by updating the value function with simulated experience generated by an environment model. However, it is often difficult to learn accurate models of environment dynamics, and even small errors may result in failure of Dyna agents. In this paper, we investigate one type of model error: hallucinated states. These are states generated by the model, but that are not real states of the environment. We present the Hallucinated Value Hypothesis (HVH): updating values of real states towards values of hallucinated states results in misleading state-action values which adversely affect the control policy. We discuss and evaluate four Dyna variants; three which update real states toward simulated -- and therefore potentially hallucinated -- states and one which does not. The experimental results provide evidence for the HVH thus suggesting a fruitful direction toward developing Dyna algorithms robust to model error.

연구 동기 및 목표

• 다이나 스타일 계획에서의 모델 오차가 정책 성능을 떨어뜨이는 방식을 조사하는 것.
• 특정 실패 원인을 특정화하는 것: 존재하지 않는(환각의) 상태 가치로 인해 가치 함수 갱신이 오염되는 것.
• 실존 상태 가치를 환각 상태 가치로 갱신할 경우 제어 정책이 오도된다는 가설을 검증하는 것.
• 실존 상태를 환각 상태에 기반해 갱신하지 않는 다이나 알고리즘을 개발하는 것.
• 불완전한 환경 모델 하에서 다양한 다이나 변형의 강건성을 평가하는 것.

제안 방법

• 환각 가치 가설(Hallucinated Value Hypothesis, HVH)을 제안: 환각 상태에서 유래한 가치 갱신은 실존 상태 가치를 오도시키며 정책 학습을 악화시킴.
• 전진/역방향 모델 사용 방향과 1단계/다단계 갱신 방식을 조합하여 4종류의 다이나 변형을 설계하며, 실존 상태가 시뮬레이션된 상태로 갱신되는지 여부를 차별화함.
• 새로운 알고리즘인 멀티스텝 프리디세서 다이나를 도입하여, 후계 상태(predecessor states)를 사용함으로써 실존 상태의 갱신을 환각 상태 기반 전이로부터 피하는 방식을 채택함.
• 복합 모델 오차를 줄이기 위해 우선순위가 감쇠하는 계획 큐($\beta^n$)를 도입함.
• 환각 가치 효과를 고립하고 시연하기 위해 맞춤형 환경인 Borderworld를 사용함.
• 표준 벤치마크 환경에서 알고리즘을 평가하여 실패 모드의 지속성을 검증함.

실험 결과

연구 질문

• RQ1 실존 상태 가치를 환각 상태 가치로 갱신할 경우 다이나 스타일 계획에서 정책 성능이 떨어지는가?
• RQ2 존재하지 않는 상태를 생성하는 모델 오차가 조그만 오차일지라도 가치 함수 오염을 지속시킬 수 있는가?
• RQ3 표준 다이나 변형 알고리즘은 환각 가치 갱신으로 인해 불완전한 모델 하에서 실패하는가?
• RQ4 실존 상태를 환각 상태 기반으로 갱신하지 않는 다이나 알고리즘을 설계할 수 있는가? 이는 강건성을 향상시킬 수 있는가?
• RQ5 이 실패 모드는 토이 도메인을 초월해 표준 벤치마크 환경에서도 지속되는가?

주요 결과

• 환각 가치 가설은 실험적으로 지지됨: 실존 상태 가치를 환각 상태 가치로 갱신하는 다이나 에이전트는 성능 저하를 보임.
• 표준 다이나 변형 알고리즘은 실존 경험은 정확하더라도, 조그만 수의 환각 상태를 생성하는 환경 모델 하에서는 실패함.
• 멀티스텝 프리디세서 다이나 알고리즘은 실존 상태를 환각 상태 기반으로 갱신하지 않으며, 모델 오차 하에서도 안정적인 학습을 유지함.
• 이 실패 모드는 MountainCar나 CartPole와 같은 표준 벤치마크 환경에서도 지속되며, 이는 토이 도메인에 국한되지 않음을 시사함.
• 환각 상태에서 온 가치 함수 갱신은 실존 경험으로는 수정할 수 없으며, 에이전트가 직접 해당 상태에 도달하거나 갱신할 수 없기 때문임.
• $\beta^n$ 감쇠를 계획 우선순위에 적용함으로써 오차의 누적은 줄어들지만 완전히 제거되지는 않으며, 이는 대안 설계 원칙의 필요성을 강조함.