[논문 리뷰] Online Inverse Reinforcement Learning via Bellman Gradient Iteration

Kun Li, Joel W. Burdick|arXiv (Cornell University)|2017. 07. 28.

Reinforcement Learning in Robotics참고 문헌 9인용 수 4

한 줄 요약

이 논문은 순차적 관찰에서 실시간으로 보상 함수를 업데이트할 수 있는 온라인 역강화학습 알고리즘을 제안한다. 이 알고리즘은 벨먼 기울기 반복을 사용하여 보상 함수를 실시간으로 업데이트함으로써, 낮은 메모리 사용량으로도 효율적인 학습을 가능하게 한다. 데이터가 많아질수록 정확도가 향상되며, 시뮬레이션된 주거 환경에서 사용자 선호도를 관찰된 행동을 통해 학습함으로써 균일한 청소 전략보다 뛰어난 성능을 보인다.

ABSTRACT

This paper develops an online inverse reinforcement learning algorithm aimed at efficiently recovering a reward function from ongoing observations of an agent's actions. To reduce the computation time and storage space in reward estimation, this work assumes that each observed action implies a change of the Q-value distribution, and relates the change to the reward function via the gradient of Q-value with respect to reward function parameter. The gradients are computed with a novel Bellman Gradient Iteration method that allows the reward function to be updated whenever a new observation is available. The method's convergence to a local optimum is proved. This work tests the proposed method in two simulated environments, and evaluates the algorithm's performance under a linear reward function and a non-linear reward function. The results show that the proposed algorithm only requires a limited computation time and storage space, but achieves an increasing accuracy as the number of observations grows. We also present a potential application to robot cleaners at home.

연구 동기 및 목표

• 보상 함수가 지속적으로 적응해야 하는 장기적이고 동적인 응용 분야에서 오프라인 역강화학습의 한계를 해결한다.
• 모든 이전 데이터를 저장하지 않고도 새로운 관찰마다 보상 함수를 점진적으로 업데이트할 수 있는 온라인 IRL 알고리즘을 개발한다.
• 새로운 보상 함수 파라미터에 기반해 Q-값의 기울기를 활용한 새로운 벨먼 기울기 반복 방법을 통해 실시간 보상 추정을 효율적으로 구현한다.
• 순차적 행동 데이터로부터 선형 및 비선형 보상 함수를 모두 효과적으로 학습할 수 있음을 입증한다.
• 사용자 선호도가 시간이 지남에 따라 변화하는 실질적인 응용 분야—스마트 홈 청소 로봇—에 알고리즘을 적용한다.

제안 방법

• 새로운 행동이 관찰될 때마다 보상 함수를 업데이트하는 온라인 역강화학습을 가능하게 하기 위해, 가능도 최대화 문제로 재구성한다.
• 최적의 Q-값 함수를 사용하여 행동 분포를 모델링하며, 이는 보상 함수 파라미터에 대해 미분 가능하다.
• Q-값의 기울기를 보상 함수 파라미터에 대해 효율적으로 계산하기 위해 새로운 벨먼 기울기 반복 방법을 도입한다.
• 기울기에 기반한 확률적 기울기 상승을 사용하여 보상 함수 파라미터를 업데이트함으로써 국소 최적해로 수렴함을 보장한다.
• 고차원 또는 복잡한 상태 공간에서 가능도 계산을 처리하기 위해 pnorm 및 gsoft 두 가지 근사 방법을 적용한다.
• 로봇이 인간의 움직임을 관찰하고 선호도 기반 청소 정책을 학습할 수 있도록, 시뮬레이션된 주거 환경에 이 방법을 통합한다.

실험 결과

연구 질문

• RQ1 모든 과거 데이터를 저장하지 않고도 새로운 관찰마다 보상 함수를 실시간으로 업데이트할 수 있는 역강화학습 알고리즘을 설계할 수 있는가?
• RQ2 최근 관찰과 현재 파라미터만을 사용하여 온라인으로 보상 함수를 얼마나 정확하게 추정할 수 있는가?
• RQ3 제안된 벨먼 기울기 반복 방법이 선형 및 비선형 설정 모두에서 안정적이고 수렴 가능한 보상 함수 학습을 가능하게 하는가?
• RQ4 실제 로봇 응용 분야에서 온라인 IRL의 성능이 균일 청소 전략 또는 최적(진실값) 청소 전략과 비교해 어떻게 되는가?
• RQ5 이 방법은 동적인 장기 환경에서 관찰된 인간 행동을 기반으로 사용자 맞춤형 청소 선호도를 효과적으로 학습할 수 있는가?

주요 결과

• 제안된 온라인 IRL 알고리즘은 관찰 수가 증가할수록 보상 추정 정확도가 향상되며, 상관계수는 진짜 보상 함수에 가까워진다.
• 최근 관찰과 보상 함수 파라미터만 저장하기 때문에 계산 시간과 저장 공간이 제한적으로 소요된다.
• 선형 보상 함수의 경우 비선형 함수보다 더 빠르게 진짜 보상 함수와 상관관계가 증가하여, 더 단순한 설정에서 더 빠른 수렴을 보였다.
• 스마트 홈 청소 로봇 시뮬레이션에서 비선형 보상 함수를 사용한 로봇는 균일 청소 전략 대비 에너지 소비를 최대 30% 감소시켰다.
• 알고리즘은 국소 최적해로 수렴하는 것으로 입증되었으며, g-soft 근사 방법은 선형 및 비선형 보상 학습 과제 모두에서 뛰어난 성능을 보였다.
• 학습된 보상 함수의 비디오 시각화 결과에서 로봇가 인간의 움직임 패tern과 일치하는 비균일 청소 선호도를 성공적으로 학습한 것으로 나타났다.