[논문 리뷰] Fitted Q-Learning for Relational Domains

Srijita Das, Sriraam Natarajan외 3명|arXiv (Cornell University)|2020. 06. 10.

Reinforcement Learning in Robotics참고 문헌 34인용 수 6

한 줄 요약

이 논문은 관계적 마르코프 결정 과정에서 Q-값과 벨만 잔차를 근사하기 위해 관계적 회귀 트리(RRTs)와 기울기 부스팅을 사용하는 첫 번째 관계적 피팅된 Q-러닝 알고리즘인 GBQL과 RBFQ를 소개한다. 이 방법은 도메인 모델 없이도 적은 수의 트레이젝터리로도 강한 일반화 성능을 달성하며, 대부분의 작업에서 RRTs를 능가하지만, 낮은 벨만 오차를 유지한다.

ABSTRACT

We consider the problem of Approximate Dynamic Programming in relational domains. Inspired by the success of fitted Q-learning methods in propositional settings, we develop the first relational fitted Q-learning algorithms by representing the value function and Bellman residuals. When we fit the Q-functions, we show how the two steps of Bellman operator; application and projection steps can be performed using a gradient-boosting technique. Our proposed framework performs reasonably well on standard domains without using domain models and using fewer training trajectories.

연구 동기 및 목표

• 변수 수의 객체와 복잡한 관계로 인해 문맥적 방법이 실패하는 관계적 도메인에서 가치 함수 근사 문제를 해결하기 위해.
• 관계적 마르코프 결정 과정(RMDPs)에서 근사 동적 프로그래밍을 위한 모델-프리이고 확장 가능한 접근법을 개발하기 위해.
• 도메인 모델이나 광범위한 특징 공학 없이도 관계적 작업 간 효과적인 일반화를 가능하게 하기 위해.
• 기존의 가치 함수 근사 기법들(예: 타일 코딩, 집합 방법 등)을 관계적이고 기울기 부스팅 기반의 프레임워크 안에 통합하기 위해.
• 관계적 기울기 부스팅이 인과적, 관계적 상태 공간에서 Q-함수와 벨만 잔차를 효과적으로 학습할 수 있음을 보여주기 위해.

제안 방법

• 기호적이고 구조가 변하는 상태-행동 공간에서의 함수 근사를 가능하게 하기 위해 Q-값과 벨만 잔차를 관계적 회귀 트리(RRTs)로 표현한다.
• 기울기 부스팅을 적용하여 이전 앙상블의 잔차 오차를 보정하는 RRT를 반복적으로 학습함으로써 벨만 오차를 최소화한다.
• 벨만 연산자의 적용 단계와 투영 단계를 각각 트리 평가와 기울기 부스팅 회귀를 통해 수행한다.
• 각 새로운 RRT가 현재 Q-근사의 잔차 오차를 기반으로 학습되는 비모수적이고 순차적인 학습 접근법을 사용한다.
• RRT의 루트에서 리프까지의 경로로 관계적 특징을 활용하여, 지식 기반 없이도 관계적 구조 간의 일반화를 가능하게 한다.
• 기능 근사 메커니즘을 일阶 논리 표현으로 올리면서, 문맥적 피팅된 Q-러닝을 관계적 도메인으로 확장한다.

실험 결과

연구 질문

• RQ1 기울기 부스팅된 관계적 회귀 트리가 객체 수와 관계의 수가 변하는 관계적 도메인에서 Q-값을 효과적으로 근사할 수 있는가?
• RQ2 제한된 학습 데이터를 가진 관계적 강화 학습 작업에서 제안된 방법이 표준 RRTs보다 더 나은 일반화 성능을 보일 수 있는가?
• RQ3 다양한 관계적 도메인에서 GBQL과 RBFQ의 성능은 벨만 오차와 목표 달성 성공률 측면에서 RRTs와 비교해 어떻게 되는가?
• RQ4 도메인 모델이나 전문가 트레이젝터리 없이도 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 벨만 잔차를 직접 근사하는 것(RBFQ)이 Q-함수를 근사하는 것(GBQL)보다 더 나은 수렴성 또는 안정성을 제공하는가?

주요 결과

• GBQL과 RBFQ는 4개 작업 중 3개에서 RRTs보다 더 높은 테스트 세트 성능를 기록하여 뛰어난 일반화 능력을 입증했다.
• Unstack 작업에서 RBFQ는 새로운 트레이젝터리에서 누적 보상의 변동성이 더 낮게 나타나, 복잡한 보상 설계 하에서 더 높은 안정성을 보였다.
• RBFQ는 핵심 상태에서 낮은 벨만 오차를 유지했지만 전체 오차는 더 높아, 국소적 정확도와 전역적 정확도 사이의 상충 관계를 보였다.
• GBQL은 전문가 트레이젝터리에 의해 안내될 때 초기 반복 단계에서 벨만 오차가 더 빠르게 감소하여 인간-인간 피드백에 민감하게 반응하는 것으로 나타났다.
• RBFQ의 벨만 오차는 일부 경우(예: Logistics 도메인)에서 증가했으며, 누적 기저 함수 조합으로 인한 투영 단계의 불안정성으로 인한 것으로 나타났다.
• 계층적 ON 작업에서는 RRT가 GBQL과 RBFQ를 뛰어넘었지만, 통계적으로 유의미한 차이는 없었으며, 이는 계층적 구조 학습에서의 한계를 시사한다.