[논문 리뷰] Towards Minimax Optimal Reinforcement Learning in Factored Markov Decision Processes

Yi Tian, Jian Qian외 1명|arXiv (Cornell University)|2020. 06. 24.

Reinforcement Learning in Robotics참고 문헌 38인용 수 4

한 줄 요약

이 논문은 최소최대 최적의 복잡도를 가지는 회귀적 보상(Regret)을 달성하는 두 가지 모델 기반 강화학습 알고리즘—F-UCBVI 및 F-EULER—을 제안한다. 이 알고리즘들은 요소별 전이 확률 추정에서 $L_1$-노름 농도 대신 스칼라 농도를 사용할 때도 낙관적 탐색을 보장하는 역수 텔레스코프 기반 보너스 항을 도입함으로써, $\tilde{\mathcal{O}}(\sqrt{HSAT})$ 하한에 가까운 날카운 감소하는 복잡도를 달성한다. F-EULER는 이론적 한계에 맞는 문제 의존적 복잡도를 달성한다.

ABSTRACT

We study minimax optimal reinforcement learning in episodic factored Markov decision processes (FMDPs), which are MDPs with conditionally independent transition components. Assuming the factorization is known, we propose two model-based algorithms. The first one achieves minimax optimal regret guarantees for a rich class of factored structures, while the second one enjoys better computational complexity with a slightly worse regret. A key new ingredient of our algorithms is the design of a bonus term to guide exploration. We complement our algorithms by presenting several structure-dependent lower bounds on regret for FMDPs that reveal the difficulty hiding in the intricacy of the structures.

연구 동기 및 목표

• 상태 전이가 조건부 독립성을 가지는 에피소드적 요소별 마르코프 결정 과정(FMDPs)에서 최소최대 최적 복잡도를 달성하는 도전 과제를 해결한다.
• 성분별 전이 추정에서 $L_1$-노름 농도 대신 스칼라 농도를 사용할 경우 낙관적 탐색을 보장하는 데 어려움을 극복한다.
• FMDPs의 구조적 희박성(스퍼스리티)을 활용하여 표준 MDP의 복잡도 한계를 초월해 복잡도를 감소시키며, 특히 비최적의 $\sqrt{S_i}$ 요소를 제거한다.
• 다양한 FMDP의 구조적 특성에 따라 결정되는 본질적 어려움을 기반으로 구조 의존적 복잡도 하한을 수립한다.
• 복잡도 최적성과 계산 효율성의 균형을 이루기 위해, 서로 다른 상충 관계를 가진 두 가지 알고리즘을 제안한다: 하나는 더 날카운 복잡도와 단순한 보너스를 가지며, 다른 하나는 더 나은 계산 복잡도를 가진다.

제안 방법

• 스칼라 농도를 기반으로 한 호프딩 스타일 보너스를 사용하는 모델 기반 알고리즘 F-UCBVI를 제안하여 탐색의 낙관성을 보장한다.
• 역수 텔레스코프 기법을 도입하여 성분별 전이에 걸쳐 낙관성을 유지하는 보너스 항을 구성함으로써 더 날카운 복잡도 하한을 달성한다.
• 문제 의존적 복잡도를 향상시키기 위해 베르누이 스타일 보너스를 사용하는 모델 기반 알고리즘 F-EULER를 설계하며, 이는 F-UCBVI보다 최악의 경우 복잡도 스케일링에서 개선된다.
• 기존에 알려진 FMDP의 인수 분해를 활용하여 성분별로 전이 확률을 추정하고, 새로운 보너스 구조와 결합한다.
• 농도 부등식(Hoeffding, Bernstein, 그리고 경험 기반 Bernstein)을 적용하여 추정 오차를 제한하고 고확률 신뢰 구간을 유도한다.
• 역수 텔레스코프 보너스를 사용하여 성분별 보너스 합산 시에도 낙관적 가치 함수가 진짜 가치 함수의 유효한 상한선을 유지하도록 보장한다.

실험 결과

연구 질문

• RQ1 성분별 보너스 합산의 단순한 접근 방식의 한계를 극복함으로써, 에피소드적 FMDPs에서 최소최대 최적 복잡도를 달성할 수 있는가?
• RQ2 어떤 FMDP의 구조적 특성이 비요소적 MDP의 $\tilde{\mathcal{O}}(\sqrt{HSAT})$ 하한에 가까운 복잡도 하한을 가능하게 하는가?
• RQ3 스칼라 농도를 사용할 경우 $L_1$-노름 농도 대신 사용할 수 있는 보너스 항은 어떻게 설계할 수 있으며, 이는 FMDPs에서 낙관성을 보장하는가?
• RQ4 FMDPs에서의 복잡도의 본질적 한계는 무엇이며, 이는 기저의 인수 분해 구조에 따라 어떻게 달라지는가?
• RQ5 알고리즘 설계를 통해 FMDP 학습에서 복잡도 최적성과 계산 효율성을 동시에 달성할 수 있는가?

주요 결과

• F-UCBVI는 $\tilde{\mathcal{O}}\left(\sum_{i=1}^{m}\sqrt{H^2 X[I_i] T}\right)$ 의 복잡도 하한을 달성하며, 로그 요소를 제외한 최소최대 최적 속도를 그대로 유지한다.
• F-EULER는 문제 의존적 복잡도 하한을 달성하며, 최악의 경우 $\tilde{\mathcal{O}}\left(\sum_{i=1}^{m}\sqrt{H X[I_i] T}\right)$ 로 줄어들어 $\Omega(\sqrt{HSAT})$ 하한에 가까워진다.
• 제안된 역수 텔레스코프 보너스 기법은 스칼라 농도 상황에서도 낙관성을 유지할 수 있게 하여, 이전 접근 방식의 핵심 장애물을 극복한다.
• FMDPs에 대해 구조 의존적 복잡도 하한이 수립되었으며, 이는 어려움이 특정 인수 분해 구조에 따라 달라진다는 것을 드러낸다.
• F-EULER 알고리즘은 성분별 복잡도에서 $\sqrt{S_i}$ 요소를 제거함으로써 이전 연구의 $\tilde{\mathcal{O}}(\sum \sqrt{D^2 S_i X[I_i] T})$ 하한을 초월하여 더 날카운 복잡도를 달성한다.
• 비록 $\sqrt{H}$ 요소의 오버헤드가 존재하지만, F-UCBVI는 보너스 구조가 단순하므로 계산 복잡도가 상당히 낮다.