[논문 리뷰] Policy Error Bounds for Model-Based Reinforcement Learning with Factored Linear Models

Bernardo Ávila Pires, Csaba Szepesvári|arXiv (Cornell University)|2016. 02. 19.

Reinforcement Learning in Robotics참고 문헌 18인용 수 10

한 줄 요약

이 논문은 사실화된 선형 모델을 사용한 모델 기반 강화 학습(MBRL)에 대해 새로운 정책 오차 경계를 수립한다. 가중치가 부여된 노름을 사용한 경계를 도입함으로써 기존에 MBRL에서 다루지 않은 영역를 다루며, 할인 요소에 대한 민감도를 감소시키고 측도 불일치 문제를 제거한다. 핵심 기여는 바나흐 격자와 혼합 노름을 활용한 새로운 분석 프레임워크로, 이는 가치 선택 연산자가 비확장성을 유지함으로써 이전 방법보다 더 날카우며 더 견고한 성능 보장을 가능하게 한다.

ABSTRACT

In this paper we study a model-based approach to calculating approximately optimal policies in Markovian Decision Processes. In particular, we derive novel bounds on the loss of using a policy derived from a factored linear model, a class of models which generalize numerous previous models out of those that come with strong computational guarantees. For the first time in the literature, we derive performance bounds for model-based techniques where the model inaccuracy is measured in weighted norms. Moreover, our bounds show a decreased sensitivity to the discount factor and, unlike similar bounds derived for other approaches, they are insensitive to measure mismatch. Similarly to previous works, our proofs are also based on contraction arguments, but with the main differences that we use carefully constructed norms building on Banach lattices, and the contraction property is only assumed for operators acting on "compressed" spaces, thus weakening previous assumptions, while strengthening previous results.

연구 동기 및 목표

• 모델 기반 강화 학습에서 사실화된 선형 모델로부터 유도된 정책의 성능 경계를 유도하기 위해.
• 초기 경계가 초과적으로 보수적인 초등 노름에 의존하는 문제를 해결하기 위해, 데이터가 희소하거나 균일하지 않은 분포에서의 상황에서 더 현실적인 분석을 제공하기 위해.
• 근사 선형 프rogramming(ALP)과 근사 동적 프로그래밍(ADP)에서 흔히 발생하는 측도 불일치 문제를 제거하기 위해, 새로운 연산자 프레임워크를 활용하기 위해.
• 더 약한 조건 하에서도 기존의 초등 노름 경계를 복원함으로써 이전 결과를 일반화하기 위해.
• 모델 기반 접근이 ALP와 ADP에서 관찰되는 오차 증폭 문제를 피할 수 있음을 보여주기 위해, 특히 데이터 분포 변화가 발생할 경우에 유의미한 성능 향상을 이룰 수 있도록 하기 위해.

제안 방법

• 저자들은 전이 커널이 두 개의 선형 연산자 곱으로 근사되는 사실화된 선형 모델 구조를 도입한다: 압축된 공간 W로 매핑하는 右 인자 R과 다시 행동가치 공간으로 매핑하는 좌 인자 Q.
• 벨만 연산자 T_Q, 압축된 공간에서의 가치 선택 연산자 M' 및 전체 수익 연산자 T_QR와 같은 핵심 연산자를 정의한다.
• 바나흐 격자 이론을 활용해 새로운 혼합 노름 구조를 구축함으로써, 가치 선택 연산자 M'이 이러한 노름 하에서 비확장성을 확보한다.
• 압축된 공간에서의 수축 원리 분석을 통해 강력한 전역 수축 조건의 필요성을 완화하면서도 더 강력한 경계를 도출한다.
• 이 프레임워크는 초등, 가중치가 부여된 초등, 가중치가 부여된 L^p 노름에서의 성능 경계를 허용하며, 모델 오차는 가중치가 부여된 노름으로 측정된다.
• 모델 구성 요소에 대한 온건한 유계성 및 호모모르피 조건 하에서 이론적 경계를 도출하며, 특히 노름 제어를 보장하기 위해 교환된 연산자 Q R에 대한 핵심 조건이 존재한다.

실험 결과

연구 질문

• RQ1 모델 기반 강화 학습에서 기존의 초등 노름 대신 가중치가 부여된 노름을 사용해 정책 오차 경계를 도출할 수 있는가? 특히 실무에서 초과적으로 보수적인 것으로 알려진 초등 노름의 문제를 해결할 수 있는가?
• RQ2 MBRL에서 사실화된 선형 모델을 사용할 경우, 이전 방법에 비해 할인 요소 γ에 대한 민감도가 감소하는가?
• RQ3 제안된 프레임워크는 근사 선형 프로그래밍과 근사 동적 프로그래밍에서 흔히 발생하는 측도 불일치 문제를 제거할 수 있는가?
• RQ4 바나흐 격자와 혼합 노름의 구조를 활용해 더 날카우며 더 견고한 경계를 도출할 수 있는가?
• RQ5 기존 경계와 비교했을 때, 새로운 경계는 고전적 결과의 복원과 새로운 설정으로의 일반화 측면에서 어떻게 다른가?

주요 결과

• 논문은 모델 정확도가 가중치가 부여된 노름으로 측정되는 모델 기반 강화 학습에 대해 정책 오차 경계를 처음으로 도출함으로써, 학습 목표와 더 자연스럽게 일치하는 분석을 가능하게 한다.
• 경계는 할인 요소 γ에 대한 민감도가 감소함을 보여주며, 이는 이전 방법에 비해 상당한 개선이다.
• 분석은 측도 불일치에 민감하지 않으며, 샘플링 분포가 최적 정책의 정적 분포와 다를 경우 ALP와 ADP에서 발생하는 제어하기 어려운 오차 항을 피한다.
• 합동-호모모르피 조건 하에서 이전의 초등 노름 경계를 복원함으로써, 기존 연구와의 일관성을 입증한다.
• 바나흐 격자 이론을 활용해 행동가치 함수에 대한 새로운 혼합 노름 정의가 가능해졌으며, 이는 가치 선택 연산자가 비확장성을 유지함으로써 안정성에 핵심적인 기여를 한다.
• 교환된 연산자 Q R에 대한 조건은 이전의 전역 수축 가정보다 더 다룰 수 있는 조건임을 입증하였으며, 이는 저차원 연산자에만 제약을 둔다.