[논문 리뷰] Adaptive Reward-Free Exploration

Emilie Kaufmann, Pierre Ménard외 4명|arXiv (Cornell University)|2020. 06. 11.

Advanced Bandit Algorithms Research참고 문헌 33인용 수 11

한 줄 요약

이 논문은 최대 MDP 추정 오차를 직접 최소화함으로써 표본 효율성을 향상시키는 적응형 리워드-프리 탐색 알고리즘인 RF-UCRL을 제안한다. 이 알고리즘은 확률 $1-\delta$로 $\varepsilon$-최적 정책을 찾는 데에 $({SAH^{4}}/{\varepsilon^{2}})(\log(1/\delta)+S)$의 순서의 개선된 표본 복잡도를 달성하며, 이는 이전 방법들보다 작은 $\varepsilon$ 및 $\delta$ 영역에서 뛰어난 성능을 보인다.

ABSTRACT

Reward-free exploration is a reinforcement learning setting studied by Jin et al. (2020), who address it by running several algorithms with regret guarantees in parallel. In our work, we instead give a more natural adaptive approach for reward-free exploration which directly reduces upper bounds on the maximum MDP estimation error. We show that, interestingly, our reward-free UCRL algorithm can be seen as a variant of an algorithm of Fiechter from 1994, originally proposed for a different objective that we call best-policy identification. We prove that RF-UCRL needs of order $({SAH^4}/{\varepsilon^2})(\log(1/δ) + S)$ episodes to output, with probability $1-δ$, an $\varepsilon$-approximation of the optimal policy for any reward function. This bound improves over existing sample-complexity bounds in both the small $\varepsilon$ and the small $δ$ regimes. We further investigate the relative complexities of reward-free exploration and best-policy identification.

연구 동기 및 목표

• 리워드-프리 탐색에 더 자연스럽고 적응형인 접근 방식을 개발하여 병렬으로 여러 알고리즘을 실행할 필요성을 피하기 위해.
• 적응형 탐색을 통해 최대 MDP 추정 오차의 상한을 줄이기 위해.
• $\varepsilon$-최적성 달성을 위한 더 날카운 표본 복잡도 상한을 확립하기 위해.
• 리워드-프리 탐색과 최적 정책 식별 간의 관계를 명확히 하기 위해.

제안 방법

• 원래 최적 정책 식별을 위한 목적으로 개발된 Fiechter(1994)의 알고리즘의 변종으로서 RF-UCRL을 설계하여 리워드-프리 탐색에 재사용한다.
• 리워드가 없을 경우 탐색과 추정 정확도를 균형 잡기 위해 상한 신뢰도 기반 기법(UCB)을 사용한다.
• 최적 정책 식별에 핵심적인 상태와 행동에 집중하기 위해, MDP 모델의 불확실성을 동적으로 감소시키는 탐색 전략을 적응적으로 조정한다.
• 신뢰구간 기반 접근 방식을 활용하여 MDP 추정 정확도에 대한 고확률 보장을 확보한다.
• 신뢰구간에 기반한 정지 기준을 통합하여 $\varepsilon$-최적 정책이 발견되었을 때 알고리즘을 종료한다.
• MDP의 구조와 환경의 수명 주기 $H$를 활용하여 추정 오차와 표본 복잡도에 대한 날카운 상한을 유도한다.

실험 결과

연구 질문

• RQ1 병렬적으로 여러 손실 최소화 알고리즘을 실행하는 것보다 단일 적응형 알고리즘이 리워드-프리 탐색에서 더 낮은 표본 복잡도를 달성할 수 있는가?
• RQ2 리워드-프리 탐색의 표본 복잡도는 최적 정책 식별과 비교해 볼 때 어떻게 다른가?
• RQ3 리워드 신호가 없는 상황에서 탐색과 추정 오차 사이의 최적 균형은 무엇인가?
• RQ4 기존 연구 대비 RF-UCRL 알고리즘이 $\varepsilon$ 및 $\delta$에 대해 더 개선된 의존성으로 $\varepsilon$-최적성을 달성할 수 있는가?

주요 결과

• RF-UCRL는 확률 $1-\delta$로 $\varepsilon$-최적 정책을 출력하기 위해 $({SAH^{4}}/{\varepsilon^{2}})(\log(1/\delta)+S)$의 순서의 표본 복잡도를 달성한다.
• 이 상한은 작은 $\varepsilon$ 및 작은 $\delta$ 영역 모두에서 기존 방법들보다 개선된 성능을 보인다.
• RF-UCRL는 Fiechter(1994)의 최적 정책 식별 알고리즘의 변종임이 입증되어, 리워드-프리 탐색과 정책 식별 간의 깊은 연결 고리를 드러낸다.
• 알고리즘의 적응형 설계는 최대 MDP 추정 오차의 상한을 직접적으로 줄여 더 날카운 이론적 보장을 이끌어낸다.
• 분석 결과, 서로 다른 목표를 지닌 리워드-프리 탐색과 최적 정책 식별은 근본적인 복잡도가 유사함을 확인한다.