[논문 리뷰] Meta Inverse Reinforcement Learning via Maximum Reward Sharing for Human Motion Analysis

Kun Li, Joel W. Burdick|arXiv (Cornell University)|2017. 10. 07.

Human Pose and Action Recognition참고 문헌 28인용 수 7

한 줄 요약

이 논문은 한 명의 시범자로부터의 소수의 시범 데이터로부터 보상 함수 학습을 향상시키기 위해 작업 간 공유되는 기본 보상 함수를 활용하는 메타 역강화 학습 방법을 제안한다. 작업별로 조건부로 설정된 보상 함수를 공유 기반 보상 함수에 기반하여 모델링하고 보상 일致성을 최대화함으로써, 제한된 데이터 하에서 시뮬레이션 경로 계획과 실제 인간 운동 분석 모두에서 정확도를 크게 향상시킨다.

ABSTRACT

This work handles the inverse reinforcement learning (IRL) problem where only a small number of demonstrations are available from a demonstrator for each high-dimensional task, insufficient to estimate an accurate reward function. Observing that each demonstrator has an inherent reward for each state and the task-specific behaviors mainly depend on a small number of key states, we propose a meta IRL algorithm that first models the reward function for each task as a distribution conditioned on a baseline reward function shared by all tasks and dependent only on the demonstrator, and then finds the most likely reward function in the distribution that explains the task-specific behaviors. We test the method in a simulated environment on path planning tasks with limited demonstrations, and show that the accuracy of the learned reward function is significantly improved. We also apply the method to analyze the motion of a patient under rehabilitation.

연구 동기 및 목표

• 고차원 작업에서 제공되는 시범 데이터 수가 매우 적을 경우 정확한 보상 함수 학습에 도전하는 문제를 해결한다.
• 큰 또는 고차원 상태 공간에서 상태 커버리지가 희박한 상황에서 전통적인 IRL 방법이 어려움을 겪는 문제를 극복한다.
• 동일한 시범자로부터의 여러 작업 간 공유되는 보상 구조를 활용하여 샘플 효율성과 일반화 능력을 향상시킨다.
• 작업별 보상 함수를 공유 기반 보상 함수에 조건부로 모델링하는 메타-IRL 프레임워크를 개발한다.
• 반복적인 시범 제공이 불가능한 재활 운동 분석과 같은 애플리케이션에서 정확한 보상 복원을 가능하게 한다.

제안 방법

• 각 작업의 보상 함수를 시범자에 내재된 공유 기본 보상 함수에 조건부로 설정된 확률적 분포로 모델링한다.
• 최대 보상 공유를 통해 공유 기본 구성 요소의 겹침을 최대화함으로써 작업별 보상 함수를 정렬한다.
• 상태 및 속도 방향 특징을 사용하여 보상 함수를 근사하기 위해 3개의 은닉층([100, 50, 25])을 갖는 신경망을 적용한다.
• 학습 중 공유 보상 일치성 향상과 더불어 강건성을 향상시키기 위해 최적화 목표로 Huber 손실을 사용한다.
• 보상 학습을 위한 작업 관련 궤적을 분리하기 위해 원점에서의 거리에 대한 피크 검출을 통해 시범 데이터를 세그먼트화한다.
• 상태 수 80,000개, 속도 방향에 기반한 8개의 결정론적 동작을 갖는 마르코프 결정 과정(MDP)으로 운동 분석 문제를 수식화한다.

실험 결과

연구 질문

• RQ1 작업당 시범 데이터가 극도로 제한된 상황에서 메타-IRL 접근법이 보상 함수 학습에 도움이 될 수 있는가?
• RQ2 동일한 시범자로부터의 여러 작업 간에 최대 보상 공유가 작업별 보상 함수를 얼마나 효과적으로 정렬하는가?
• RQ3 공유 기본 보상 함수에 조건부로 설정된 작업별 보상 함수 모델링이 기존 IRL보다 더 나은 일반화 및 정확도를 제공하는가?
• RQ4 제안된 방법은 희박한 시범 데이터를 가진 실제 인간 운동 데이터에서 의미 있는 보상 구조를 복원할 수 있는가?
• RQ5 소수의 시범 설정에서 가장 강건하고 정확한 보상 복원을 제공하는 손실 함수는 무엇인가? (예: Huber, MSE)

주요 결과

• Huber 손실 함수가 다른 손실 함수보다 공유 보상 일치성을 최대화하는 데 뛰어나 보상 복원 정확도가 가장 높았다.
• 시뮬레이션 경로 계획에서, 제한된 시범 데이터 조건 하에서도 학습된 보상 함수의 정확도가 크게 향상되었다.
• 환자 운동 분석에서 이상적 보상과 복원된 보상 간 상관계수는 다양한 방향과 환자 간 -0.3856에서 0.4902 사이로 변동하여 의도된 운동 선호도의 측정 가능한 복원을 나타냈다.
• 환자 1의 경우, 자극이 가해지지 않은 조건에서 상관계수는 0.49016, 자극이 가해진 조건에서는 0.486723로 나타나 의도된 운동 목표와 강한 일치를 보였다.
• 환자 4의 자극이 없는 세션에서 상위 왼쪽 방향에 대해 0.386421, 상위 오른쪽 방향에 대해 0.410212의 상관계수를 기록하여 인간 운동의 방향 선호도를 성공적으로 포착했다.
• 재활 분야에서 실용적인 유용성을 보였으며, 복원된 보상 구조는 환자 반응 패tern을 기반으로 자극 신호 설계를 안내하는 데 활용될 수 있다.