[논문 리뷰] Near Optimal Behavior via Approximate State Abstraction

David Abel, D Ellis Hershkowitz외 1명|arXiv (Cornell University)|2017. 01. 15.

Reinforcement Learning in Robotics참고 문헌 25인용 수 109

한 줄 요약

본 논문은 MDPs를 위한 네 가지 근사 상태 추상화 함수를 도입하고, 추상 최적 정책이 ground MDP에서 제한된 서브최적성을 초래함을 증명하며, 추상화가 제어된 손실로 작업 복잡성을 감소시킴을 경험적으로 보여준다.

ABSTRACT

The combinatorial explosion that plagues planning and reinforcement learning (RL) algorithms can be moderated using state abstraction. Prohibitively large task representations can be condensed such that essential information is preserved, and consequently, solutions are tractably computable. However, exact abstractions, which treat only fully-identical situations as equivalent, fail to present opportunities for abstraction in environments where no two situations are exactly alike. In this work, we investigate approximate state abstractions, which treat nearly-identical situations as equivalent. We present theoretical guarantees of the quality of behaviors derived from four types of approximate abstractions. Additionally, we empirically demonstrate that approximate abstractions lead to reduction in task complexity and bounded loss of optimality of behavior in a variety of environments.

연구 동기 및 목표

• 계획 및 강화 학습에서 차원의 저주를 완화하기 위해 근사 상태 추상화의 이용을 동기화하고 형식화한다.
• 압축과 제한된 성능 손실 간의 절충을 하는 네 가지 구체적인 추상화 계열을 제안한다.
• 근사 매개변수 ε에 대해 서브최적성이 한정되고 다항식적으로 증가한다는 이론적 보장을 제공한다.
• 다양한 MDP에 걸쳐 추상화 정도가 압축과 결과 정책의 품질에 어떻게 영향을 미치는지 경험적으로 평가한다.

제안 방법

• 보상 및 전이에서 그라운드 상태의 가중 기여를 갖는 상태 집계를 통해 추상 MDP를 정의한다.
• 네 가지 근사 집계 함수: ˜φ_{Q*,ε}, ˜φ_{model,ε}, ˜φ_{ bolt,ε}, 및 ˜φ_{mult,ε}를 도입한다.
• 주된 한계를 증명한다: V_G^{π_G*}(s) − V_G^{π_GA}(s) ≤ 2ε η_f, with η_f depending on the abstraction type.
• 각 추상화 계열에 대해 Q값 및 정책 품질을 한정하는 보조정리를 확립한다.
• ε → 0일 때 이 한계가 0으로 수렴하여 정확한 추상화 특성을 회복함을 보인다.
• 기존의 이음 매맞춤(bisimulation) 및 유사도 기반 추상화와의 연결 고리를 개략적으로 제시한다.

실험 결과

연구 질문

• RQ1 충분히 유사한 ground state를 집계할 때 근사 상태 추상화가 거의 최적의 행동을 보존할 수 있는가?
• RQ2 네 가지 제안된 추상화 계열의 ε 및 MDP 매개변수 측면에서 서브최적성에 대한 이론적 경계는 무엇인가?
• RQ3 다양한 추상화 기준(Q*, model, Boltzmann, multinomial)이 압축 및 손실 측면에서 어떻게 비교되는가?
• RQ4 다양한 도메인에서 성능 손실이 한정된 채로 태스크 복잡도 감소를 실용적으로 얻을 수 있는가?

주요 결과

• 네 가지 근사 상태 집계 함수가 abstract 최적 정책을 ground MDP에 적용할 때 서브최적성의 한계를 유도한다.
• 서브최적성 한계는 ε와 문제에 의존적인 η_f의 함수이며, 네 가지 계열에서 ε에 대해 다항적으로 의존하는 것을 보인다.
• 정확한 추상화가 존재하지 않을 때도 근사 추상화가 정확한 추상화보다 더 큰 압축을 가능하게 한다.
• 이론적 결과는 추상화 품질이 ground MDP와 추상 MDP 간의 가치 및 Q값의 한계에 미치는 영향을 연결한다.
• 다양한 MDP에서 압축 정도와 발생하는 오차 간의 트레이드를 실험적으로 보여준다.
• 해당 방법은 의사결정 문제의 본질적 구조를 보존하면서 계산을 합리적으로 가능하게 한다.