[논문 리뷰] Inverse Reinforcement Learning in Large State Spaces via Function Approximation

Kun Li, Joel W. Burdick|arXiv (Cornell University)|2017. 07. 28.

Reinforcement Learning in Robotics참고 문헌 19인용 수 4

한 줄 요약

이 논문은 큰 상태 공간에서의 역강화학습을 위한 함수 근사 방법을 제안하며, 매번 반복적인 가치 반복을 수행하는 대신 벨먼 최적성 방정식을 직접 강제하여 계산 비용이 높은 강화학습 단계를 회피함으로써 행동 집합 크기와 선형적인 시간 복잡도를 달성한다. 이 방법은 기존 방법보다 더 높은 정확도와 확장 가능성을 확보하며, 척수 손상 환자에게 자극을 가한 고차원 임상 운동 데이터로도 성공적으로 확장된다.

ABSTRACT

This paper introduces a new method for inverse reinforcement learning in large-scale and high-dimensional state spaces. To avoid solving the computationally expensive reinforcement learning problems in reward learning, we propose a function approximation method to ensure that the Bellman Optimality Equation always holds, and then estimate a function to maximize the likelihood of the observed motion. The time complexity of the proposed method is linearly proportional to the cardinality of the action set, thus it can handle large state spaces efficiently. We test the proposed method in a simulated environment, and show that it is more accurate than existing methods and significantly better in scalability. We also show that the proposed method can extend many existing methods to high-dimensional state spaces. We then apply the method to evaluating the effect of rehabilitative stimulations on patients with spinal cord injuries based on the observed patient motions.

연구 동기 및 목표

• 기존의 역강화학습(IRL) 방법이 큰 상태 공간이나 고차원 상태 공간에서 가지는 확장성 한계를 해결하기 위해.
• 각 IRL 반복 과정에서 강화학습 문제를 해결하지 않고도 함수 근사 프레임워크를 개발하여 계산 비용을 감소시키기 위해.
• 척수 자극을 받는 환자의 고차원 환경에서 관측된 운동 궤적을 통해 정확한 보상 함수 추정을 가능하게 하기 위해.
• 제안된 함수 근사 접근법을 활용해 기존 IRL 방법을 고차원 상태 공간으로 확장하기 위해.
• 실제 임상 데이터에서 학습된 보상 함수를 바탕으로 재활 자극의 영향을 환자 운동 선호도 측면에서 평가하기 위해.

제안 방법

• 함수 근사를 통해 벨먼 최적성 방정식을 직접 강제하여 반복적 가치 반복 없이도 일관성을 확보한다.
• 상태-행동 특징(위치 및 속도 방향)에서 보상 함수를 근사하기 위해 세 개의 은닉층([100, 50, 25] 개 노드)을 갖는 신경망을 사용한다.
• 관측된 궤적의 가능도를 최대화하는 방식으로 보상 함수를 학습하며, 학습률 0.00001로 10,000회 반복하여 최적화를 수행한다.
• 전이 모델이 사전에 알려져 있다고 가정하여, 벨먼 백업을 풀지 않고도 보상에서 최적의 가치 함수로 직접 매핑할 수 있다.
• 각 상태는 100×100 격자 위치와 속도 벡터를 나타내는 환자들의 이산화된 COP 궤적에 적용된다.
• 관측된 운동 시퀀스를 가장 잘 설명하는 보상 함수를 추정하기 위해 최대우도 목적함수를 사용한다.

실험 결과

연구 질문

• RQ1 각 반복 단계에서 계산 비용이 높은 강화학습 문제를 해결하지 않고도, 대규모 상태 공간에 대한 역강화학습을 확장할 수 있는가?
• RQ2 함수 근사 방법은 고차원 상태 공간에서 관측된 운동 궤적으로부터 진정한 보상 함수를 얼마나 정확하게 복원할 수 있는가?
• RQ3 경피적 척수 자극이 학습된 보상 함수를 통해 유추된 환자 운동 선호도에 어느 정도 영향을 미치는가?
• RQ4 제안된 방법은 환자 COP 궤적과 같은 고차원 임상 운동 데이터에 기존 IRL 알고리즘을 확장할 수 있는가?
• RQ5 제안된 방법은 시뮬레이션 및 실제 운동 데이터 모두에서 기존 IRL 방법과 비교해 정확도와 확장성 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 기존 IRL 방법보다 유의미하게 높은 정확도를 달성했으며, 환자 1의 자극 상태에서 후진 운동의 경우 회복된 보상과 이상적인 보상 간 상관계수가 -0.999993에 도달했다.
• 환자 6의 경우 자극 상태에서 오른쪽 상단 방향으로의 운동에 대해 보상 상관계수가 0.740827을 기록하여 임상의 지시한 운동 선호도와 강한 일치를 보였다.
• 훈련 시간을 GP 또는 커널 기반 방법의 수주에서 약 1분으로 단축시켜 임상 데이터에 대한 실용적 구현을 가능하게 했다.
• 프레임워크는 고차원 상태 공간으로의 IRL 확장을 성공적으로 수행했으며, 80,000개 상태를 가진 MDP(8개 행동, 100×100 공간 이산화)를 처리할 수 있었다.
• 결과적으로 자극이 환자 운동 선호도에 방향에 따라 다르게 영향을 미쳤다—예를 들어 환자 3의 경우 오른쪽 상단 방향에서 성능 향상을, 환자 1의 경우 후진 방향에서 성능 저하를 초래했다.
• 여섯 명의 환자 전반에 걸쳐 일관된 성능을 보이며, 자극 유무에 관계없이 보상 함수 복원에 뛰어난 강인성을 입증했다.