[논문 리뷰] Oracle-Efficient Regret Minimization in Factored MDPs with Unknown Structure

Aviv Rosenberg, Yishay Mansour|arXiv (Cornell University)|2020. 09. 13.

Reinforcement Learning in Robotics참고 문헌 35인용 수 5

한 줄 요약

이 논문은 구조가 알려져 있지 않은 인자 분해 MDPs(factored MDPs)에 대해 최초로 오рак루 효율적인 손실 최소화 알고리즘을 제안하며, 불확실성에 대한 낙관주의 원칙과 통계적 범위 학습을 융합한다. 심지어 계획자 오라클이 비인자 분해된 행동만 제공하더라도, FMDP 인코딩에 다항적으로 비례하는 $√{T}$의 근사 최적 손실을 달성하며, 기존 최상의 상한과 일치하는 새로운 최소 최대 하한을 확립한다.

ABSTRACT

We study regret minimization in non-episodic factored Markov decision processes (FMDPs), where all existing algorithms make the strong assumption that the factored structure of the FMDP is known to the learner in advance. In this paper, we provide the first algorithm that learns the structure of the FMDP while minimizing the regret. Our algorithm is based on the optimism in face of uncertainty principle, combined with a simple statistical method for structure learning, and can be implemented efficiently given oracle-access to an FMDP planner. Moreover, we give a variant of our algorithm that remains efficient even when the oracle is limited to non-factored actions, which is the case with almost all existing approximate planners. Finally, we leverage our techniques to prove a novel lower bound for the known structure case, closing the gap to the regret bound of Chen et al. [2021].

연구 동기 및 목표

• 학습자가 인자 분해된 구조를 알지 못하는 비에피소딕 인자 분해 MDPs에서 손실 최소화 문제를 해결하는 것.
• FMDP 계획자 오라클에 의존하여 계산 효율성을 유지하면서 FMDP의 구조를 학습하는 알고리즘을 설계하는 것.
• 기존의 근사 계획자에서 흔한 비인자 분해된 행동 오라클을 사용할 수 있도록 프레임워크를 확장하는 것.
• 구조가 알려진 FMDPs에 대해 새로운 최소 최대 하한을 증명하여 기존 최상의 상한과의 격차를 해소하는 것.

제안 방법

• 일致한 범위(consistent scopes)의 개념을 도입하고, 학습 과정에서 일치하지 않는 범위를 통계적 검증을 통해 제거한다.
• 불확실한 구조 상황에서도 탐색과 정책 선택을 이끄는 데 불확실성에 대한 낙관주의 원칙(optimism-in-face-of-uncertainty)을 적용한다.
• 후보 일치 범위들 위에 낙관적인 MDP를 구성하고, FMDP 계획자 오라클을 사용해 정책을 계산한다.
• 오라클 액세스 수준을 초과하지 않는 복잡도로, 오라클 효율성을 유지하면서도, 오라클 접근을 통해 구조 학습을 손실 최소화 루프에 통합한다.
• 비인자 분해된 행동 오라클을 사용할 수 있도록, 계획 및 탐색 구성 요소를 수정함으로써 알고리즘을 확장한다.
• 알고리즘 프레임워크를 활용해, 범위 크기 $m$에 대해 지수적 의존성과 요소 수 $d$에 대해 $√{d}$ 의존성을 반영한 새로운 하한을 유도한다.

실험 결과

연구 질문

• RQ1 학습자가 기저 구조를 모를 경우에도, 오라클 효율성을 유지하면서 인자 분해 MDPs에서 손실 최소화를 달성할 수 있는가?
• RQ2 구조 학습을 낙관적인 손실 최소화 프레임워크에 통합할 수 있는가? 이때 계산 비용이 지수적으로 증가하지는 않는가?
• RQ3 계획자 오라클이 비인자 분해된 행동만 지원할 경우에도 근사 최적의 손실 범위를 유지할 수 있는가?
• RQ4 구조가 알려진 인자 분해 MDPs에서 손실의 최소 최대 하한은 무엇이며, 기존 최상의 상한과 일치하는가?
• RQ5 부분적인 도메인 지식은 구조 학습 과정에 유익한가? 그리고 이를 알고리즘에 효율적으로 통합할 수 있는가?

주요 결과

• 제안된 SLF-UCRL 알고리즘은 $\sqrt{T}$ 비례로 근사 최적의 손실 스케일링을 달성하며, 이는 표본 MDP의 손실 범위보다 지수적으로 작다.
• 심지어 계획자 오라클이 비인자 분해된 행동만 반환하더라도, 알고리즘은 오라클 효율성을 유지하며 기존의 근사 계획자들과의 호환성을 확보한다.
• SysAdmin 도메인에서의 수치 실험 결과, SLF-UCRL는 전체 구조를 알고 있다는 전제인 인자 분해 UCRL 알고리즘과 유사한 손실 수준을 달성한다.
• 알고리즘은 시간이 지남에 따라 일치하지 않는 범위를 성공적으로 제거하며, 실질적으로 효과적인 구조 학습을 보여준다.
• 논문은 유한 수평의 FMDPs에 대해 $\Omega\bigl{(}\sqrt{\frac{d}{\log d}HW^{m}|A|T}\bigr{)}$ 의 새로운 최소 최대 하한을 확립하였으며, Chen 등 [2021]의 상한과 로그 인자 수준에서 일치한다.
• 하한은 손실이 범위 크기 $m$에 대해 지수적으로 증가해야 한다고 증명하며, 이는 분야 내 핵심 열린 문제를 해결한다.