[논문 리뷰] Exploring compact reinforcement-learning representations with linear regression

Thomas J. Walsh, István Szita외 2명|arXiv (Cornell University)|2012. 05. 09.

Reinforcement Learning in Robotics참고 문헌 14인용 수 7

한 줄 요약

이 논문은 KWIK(Knows What It Knows) 프레임워크를 충족시키는 개선된 샘플 복잡도 한계를 가진 새로운 온라인 선형 회귀 알고리즘을 소개한다. 이 알고리즘은 강화학습에서 이전에 효율적으로 학습 가능하지 않다고 알려져 있던 도메인, 즉 인과 MDP의 보상 함수와 확률적 STRIPS 및 객체 지향 MDP의 결과 확률을 포함하여, 효율적인 컴 pact 표현 학습을 가능하게 한다.

ABSTRACT

This paper presents a new algorithm for online linear regression whose efficiency guarantees satisfy the requirements of the KWIK (Knows What It Knows) framework. The algorithm improves on the complexity bounds of the current state-of-the-art procedure in this setting. We explore several applications of this algorithm for learning compact reinforcement-learning representations. We show that KWIK linear regression can be used to learn the reward function of a factored MDP and the probabilities of action outcomes in Stochastic STRIPS and Object Oriented MDPs, none of which have been proven to be efficiently learnable in the RL setting before. We also combine KWIK linear regression with other KWIK learners to learn larger portions of these models, including experiments on learning factored MDP transition and reward functions together.

연구 동기 및 목표

• 샘플 효율성과 함께 일반화 가능한 표현을 강화학습에서 효율적으로 학습하는 데 도전한다.
• 인과 MDP 및 객체 지향 MDP와 같은 구조적 MDP에서 핵심 구성 요소에 대한 효율적 학습 보장의 부족을 극복한다.
• 온라인 학습의 효율성 요구 조건을 충족시키는 KWIK 프레임워크에 부합하는 선형 회귀 알고리즘을 개발한다.
• 구조적 강화학습 설정에서 보상 함수와 전이 확률의 샘플 효율적 학습을 가능하게 한다.
• KWIK 선형 회귀 알고리즘을 다른 KWIK 학습기와 조합하여 복잡한 MDP에서 더 큰 모델 구성 요소로 확장한다.

제안 방법

• 기존 연구 대비 개선된 샘플 복잡도 한계를 가진 새로운 온라인 선형 회귀 알고리즘을 제안한다.
• 알고리즘을 KWIK 학습 프레임워크에 통합하여, 높은 신뢰도로만 예측을 하고 불확실성을 식별할 수 있도록 보장한다.
• 보상 함수를 특징의 선형 함수로 모델링하여, 인과 MDP에서 보상 함수를 KWIK 선형 회귀 알고리즘으로 학습한다.
• 동일한 알고리즘을 확률적 효과를 가진 액션의 결과 확률을 학습하는 데 적용한다. 이는 확률적 STRIPS 및 객체 지향 MDP에서의 응용이다.
• KWIK 선형 회귀 학습기와 다른 KWIK 학습기(예: 가치 함수 또는 전이 모델용)를 조합하여, 더 큰 부분의 구조적 MDP를 학습한다.
• KWIK 프레임워크 하에서 샘플 효율성과 학습 정확성에 대한 이론적 보장을 확보한다.

실험 결과

연구 질문

• RQ1 기존 방법에 비해 개선된 샘플 복잡도 한계를 가진 KWIK 준수 선형 회귀 알고리즘을 설계할 수 있는가?
• RQ2 KWIK 선형 회귀 알고리즘을 사용하여 인과 MDP에서 보상 함수를 효율적으로 학습할 수 있는가?
• RQ3 KWIK 선형 회귀 알고리즘을 확률적 STRIPS 및 객체 지향 MDP에서 액션 결과 확률을 학습하는 데 적용할 수 있는가?
• RQ4 KWIK 선형 회귀 알고리즘을 다른 KWIK 학습기와 조합하여, 구조적 MDP에서 전이 및 보상 함수를 공동으로 효율적으로 학습할 수 있는가?
• RQ5 이전에는 학습이 어려운 것으로 알려져 있었던, 이 방법을 통해 효율적으로 학습 가능한 구조적 강화학습 설정의 구성 요소가 존재하는가?

주요 결과

• 제안된 KWIK 선형 회귀 알고리즘은 KWIK 프레임워크 내에서 최신 기술보다 더 나은 샘플 복잡도 한계를 달성한다.
• 이 알고리즘은 이전에 강화학습에서 효율적으로 학습 가능하지 않다고 알려져 있던 인과 MDP에서 보상 함수의 효율적이고 샘플 효율적인 학습을 가능하게 한다.
• 이 방법은 강화학습에서 이전에 효율적 학습 보장이 없었던 확률적 STRIPS 및 객체 지향 MDP에서 결과 확률을 성공적으로 학습한다.
• KWIK 선형 회귀 학습기와 다른 KWIK 학습기의 조합을 통해, 인과 MDP에서 전이 및 보상 함수를 공동으로 학습할 수 있으며, 더 큰 모델 구성 요소로의 확장성을 보여준다.
• 이론적 프레임워크는 예측이 항상 확신할 수 있을 때만 이루어지며, 불확실성은 명시적으로 다루어져 학습의 신뢰성을 향상시킨다.
• 이 접근은 여러 구조적 MDP 형식에서 보상 및 전이 모델에 대해 증명 가능하게 효율적인 학습 방법을 제공하며, 학습 가능한 강화학습 표현의 범위를 넓힌다.