[논문 리뷰] Making Sense of Reinforcement Learning and Probabilistic Inference

Brendan O’Donoghue, Ian Osband외 1명|arXiv (Cornell University)|2020. 01. 03.

Reinforcement Learning in Robotics참고 문헌 46인용 수 12

한 줄 요약

이 논문은 인기 있는 '강화학습은 추론이다' 프레임워크의 심각한 결함을 규명한다: 지식적 불확실성(epistemic uncertainty)을 간과함으로써 단순한 문제에서도 열악한 탐색과 성능을 보인다. 저자들은 이에 대비해 수정된 추론 프레임워크를 제안한다—이는 K-학습과 동치이며, 불확실성을 적절히 반영함으로써 증명 가능한 효율적 탐색을 가능하게 하며, 표본적 타블루러스 및 딥 강화학습 환경에서 기존의 소프트 Q-학습보다 뛰어난 성능을 보인다.

ABSTRACT

Reinforcement learning (RL) combines a control problem with statistical estimation: The system dynamics are not known to the agent, but can be learned through experience. A recent line of research casts `RL as inference' and suggests a particular framework to generalize the RL problem as probabilistic inference. Our paper surfaces a key shortcoming in that approach, and clarifies the sense in which RL can be coherently cast as an inference problem. In particular, an RL agent must consider the effects of its actions upon future rewards and observations: The exploration-exploitation tradeoff. In all but the most simple settings, the resulting inference is computationally intractable so that practical RL algorithms must resort to approximation. We demonstrate that the popular `RL as inference' approximation can perform poorly in even very basic problems. However, we show that with a small modification the framework does yield algorithms that can provably perform well, and we show that the resulting algorithm is equivalent to the recently proposed K-learning, which we further connect with Thompson sampling.

연구 동기 및 목표

• 단순한 의사결정 문제에서 열악한 탐색을 유도하는 '강화학습은 추론이다' 프레임워크의 근본적 결함을 규명하는 것.
• 미래 행동과 관측을 포함한 추론을 통해 강화학습을 확률론적 추론으로 올바르게 재정의하는 방법을 명확히 하는 것.
• 원래의 베이지안 최적 해법이 이미 제어와 추론을 모두 내재하고 있지만, 계산적으로 비가능하다는 것을 보여주는 것.
• 지식적 불확실성을 포함하여 더 나은 탐색을 위한 '강화학습은 추론이다' 프레임워크에 체계적인 수정을 제안하는 것.
• 실험적으로 수정된 프레임워크(K-학습)가 문제 크기에 따라 유연하게 스케일링됨을 입증하는 것—소프트 Q-학습과는 달리.

제안 방법

• 미래 행동과 관측에 대한 베이지안 추론 문제로 RL 문제를 재정의하여, 모델에 지식적 불확실성을 포함시키는 것.
• 확률적 그래픽 모델(PGM)을 사용해 보상이 제곱된 형태의 MDP를 표현하고, 정책을 잠재 변수로 간주하는 것.
• 정보의 가치를 고려한 수정된 추론 목표를 도입하여, 탐색이 불확실성에 의해 이끌리도록 보장하는 것.
• 이 보정된 추론 프레임워크에 대한 원칙적인 근사로 K-학습을 유도하며, Q-값에 대한 사후 샘플링을 사용하는 것.
• 딥 강화학습에서 사후 분포를 근사하기 위해 앙상블 방법과 무작위 우선 함수를 구현하는 것.
• 정규화된 손실 및 학습 시간을 지표로 하여 타블루러스 및 딥 강화학습 벤치마크에서 성능을 평가하는 것—특히 DeepSea MDP에서.

실험 결과

연구 질문

• RQ1 이론적으로 매력적이지만 단순한 의사결정 문제에서 표준 '강화학습은 추론이다' 프레임워크가 실패하는 이유는 무엇인가?
• RQ2 강화학습과 확률론적 추론 사이의 연결을 어떻게 정확히 수식화할 수 있으며, 지식적 불확실성을 포함할 수 있는가?
• RQ3 '강화학습은 추론이다' 프레임워크에 어떤 수정이 가해져야 증명 가능한 효율적 탐색이 가능해지는가?
• RQ4 샘플 효율성 측면에서, 유도된 알고리즘이 톰슨 샘플링과 소프트 Q-학습에 비해 어떻게 비교되는가?
• RQ5 보정된 추론 프레임워크의 통찰은 기능 근사와 함께 딥 강화학습으로도 확장 가능한가?

주요 결과

• 표준 '강화학습은 추론이다' 프레임워크는 지식적 불확실성을 忽시함으로써 단순한 문제에서도 열악한 탐색을 유도하고 문제 크기에 따라 지수적 증가하는 정규화된 손실을 보인다.
• 이 결함적인 프레임워크에서 유도된 소프트 Q-학습은 문제 크기에 따라 유연하게 스케일링되지 않으며, DeepSea MDP에서 최적 정책을 학습하는 데 지수적 시간이 소요된다.
• 불확실성을 반영한 수정된 프레임워크인 K-학습은 문제 크기에 대해 다항식 스케일링을 보이며, 거의 최적의 학습 시간을 달성한다.
• 톰슨 샘플링과 K-학습은 모두 타블루러스 및 딥 강화학습 환경에서 우수한 스케일링 성능을 보이며, 소프트 Q-학습은 탐색 집중 작업에서 실패한다.
• 딥 강화학습에서 신경망 앙상블과 무작위 우선 함수를 사용한 K-학습의 구현은 원-핫 픽셀 입력을 가진 DeepSea 환경에서 깊은 탐색을 성공적으로 이끌어낸다.
• 결과는 추론 프레임워크에 지식적 불확실성을 통합하는 것이 효율적 탐색을 위해 필수적이며, K-학습이 이 과제에 대해 체계적인 해결책을 제공한다는 것을 확인한다.