[논문 리뷰] Selecting Near-Optimal Approximate State Representations in Reinforcement Learning

Ronald Ortner, Odalric-Ambrym Maillard외 1명|arXiv (Cornell University)|2014. 05. 12.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 유한한 모델 집합에서 정확도가 높은 상태 표현을 선택하는 강화학습 알고리즘을 제안한다. 이 알고리즘은 어떤 모델도 완벽한 MDP 표현이 아니더라도 작동하며, 근사 오차 ǫ과 MDP 직경 D에 비례하는 손실 한계를 달성한다. 기존 연구와 달리 진정한 모델이 존재할 필요가 없고, 상태 공간 크기와 신뢰구간에 대한 의존도를 강화함으로써 성능을 향상시킨다.

ABSTRACT

We consider a reinforcement learning setting introduced in (Maillard et al., NIPS 2011) where the learner does not have explicit access to the states of the underlying Markov decision process (MDP). Instead, she has access to several models that map histories of past interactions to states. Here we improve over known regret bounds in this setting, and more importantly generalize to the case where the models given to the learner do not contain a true model resulting in an MDP representation but only approximations of it. We also give improved error bounds for state aggregation.

연구 동기 및 목표

• 주어진 모델 집합 중 어떤 모델도 완벽한 MDP 표현이 아닐 때 효과적인 상태 표현을 선택하는 문제에 대응한다.
• 근사 모델이 존재하는 설정에서 손실 한계를 향상시켜, 이전 연구 대비 상태 공간 크기 의존도를 줄인다.
• 모델이 진짜 MDP를 근사할 뿐이지만, 정량화된 오차 경계를 갖는 near-optimal 전략을 개발한다.
• 근사 오차 ǫ과 MDP 직경 D를 고려한 수렴성과 손실에 대한 이론적 보장을 제공한다.
• 기존 결과 [7]을 일반화하여 모델 집합 Φ에 진짜 MDP 모델이 존재한다는 가정을 제거한다.

제안 방법

• 신뢰구간과 페널티가 부여된 낙관적 Q-값 추정을 사용하여 탐색과 이용을 균형 잡는 모델 선택 알고리즘을 도입한다.
• 이중 수준의 에피소드 구조를 사용한다: 에피소드가 런으로 나뉘며, 각 런 내에서 보상 성능과 신뢰구간에 따라 모델가 테스트되고 선택된다.
• Q-값 추정에 사용되는 페널티 항은 모델의 추정 근사 오차 ˜ǫ(φ), 상태 공간 크기 Sφ, 그리고 신뢰 수준 δ에 따라 달라진다.
• 코시-슈바르츠 부등식과 농도 불등식을 적용하여 추정 보상과 진짜 값 사이의 편차를 경계함으로써 고확률 손실 제어를 보장한다.
• 진짜 MDP의 편향 스펙트럼과 직경 D를 활용하여 근사 모델의 오차 전파를 제어한다.
• 모델 선택 규칙은 추정 성능가 낙관적 경계와 일치할 경우에만 통과하도록 하여 근사 오차에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 주어진 모델 집합 중 어떤 모델도 완벽한 MDP 표현이 아닐 때, 하위선형 손실을 달성할 수 있는가?
• RQ2 손실은 주어진 모델 집합 중 최고 모델의 근사 오차 ǫ에 어떻게 의존하는가?
• RQ3 상태 공간 크기 S와 진짜 MDP의 직경 D에 대한 의존도를 줄여 손실 한계를 향상시킬 수 있는가?
• RQ4 모델이 진짜 MDP를 근사할 뿐일 때 도달 가능한 최소 손실은 무엇이며, 이는 ǫ과 D에 어떻게 비례하는가?
• RQ5 알 수 없는 근사 오차에 강건하면서도 near-optimal 성능을 보장하는 모델 선택 전략을 설계할 수 있는가?

주요 결과

• 최고의 모델이 근사 오차 ǫ을 가질 경우, 알고리즘은 O(√(T log T))의 손실 한계를 달성하며, 추가 항은 ǫD 비례하여 증가한다. 이는 알려진 하한값과 일치한다.
• 기존 연구 대비 상태 공간 크기 Sφ에 대한 의존도를 줄여, 신뢰구간과 페널티 항의 정교한 사용을 통해 더 탴밀한 경계를 달성한다.
• 선택된 모델 φkj가 진짜 오차 ǫ(φkj) 이상의 추정 오차 ˜ǫ(φkj)를 가질 경우, 고확률 (1−δ)로 모든 테스트를 통과한다.
• 낙관적 정책의 편향 스펙트럼은 진짜 MDP의 직경 D로 제한되며, 이는 가치 함수 추정 오차를 제어할 수 있게 한다.
• 에피소드 수 KT는 O(SA log(T/S))로 경계되며, 이는 모델 재평가 빈도를 제어하고 효율적인 학습을 보장한다.
• 최종 손실 한계는 O(√(T log T) + ǫD T)로 비례하며, 이는 모델 근사 하에서도 근사적으로 최적의 학습을 가능하게 하며, 단위 단계당 오차가 ǫD 비례함을 보여준다.