[논문 리뷰] Learning Mobile Robot Based on Adaptive Controlled Markov Chains

Valery Vilisov|arXiv (Cornell University)|2015. 01. 01.

Reinforcement Learning in Robotics참고 문헌 3인용 수 2

한 줄 요약

이 논문은 인간 운영자의 의사결정 선호도를 모델링하고 학습하기 위해 제어된 마르코프 체인을 사용하는 적응형 학습 알고리즘을 제안한다. 마르코프 보상 체인에 대한 역문제를 해결함으로써, 시스템은 운영자 행동에서 전이 확률과 보상 함수를 추정하며, 빠른 수렴을 통해 운영자 주관적 전략과 높은 정밀도로 일치하는 정책을 도출한다. 시뮬레이션을 통해 30단계의 에피소드를 100회 반복한 결과로 검증되었다.

ABSTRACT

Herein we suggest a mobile robot-training algorithm that is based on the preference approximation of the decision taker who controls the robot, which in its turn is managed by the Markov chain. Setup of the model parameters is made on the basis of the data referring to the situations and decisions involving the decision taker. The model that adapts to the decision taker's preferences can be set up either a priori, during the process of the robot's normal operation, or during specially planned testing sessions. Basing on the simulation modelling data of the robot's operation process and on the decision taker's robot control we have set up the model parameters thus illustrating both working capacity of all algorithm components and adaptation effectiveness.

연구 동기 및 목표

• 모바일 로봇이 인간 운영자의 주관적 의사결정 선호도를 학습하고 적응할 수 있는 방법을 개발하기 위해.
• 관측된 운영자 행동으로부터 보상을 추론하는 방식으로 로봇의 행동을 제어된 마르코프 결정 과정(MDP)으로 모델링하기 위해.
• 정상 운영 또는 테스트 세션 중 관측된 행동 데이터를 사용해 로봇의 정책을 실시간으로 적응시키기 위해.
• 역 MDP 접근법이 운영자 선호도 구조를 정확히 추정하는 데 효과적인지 검증하기 위해.

제안 방법

• 해당 방법은 관측된 운영자 결정에서 보상 함수와 전이 확률을 추론하기 위해 역 마르코프 보상 체인(RPMDP)을 사용한다.
• 세 단계 알고리즘을 적용한다: (1) 결정 시퀀스에서 순수 전략 식별, (2) 베이지안 업데이트를 사용해 전이 확률 추정치를 반복적으로 개선, (3) 관측된 결과와의 재귀적 상관관계를 통해 보상 값 추정.
• 모델은 완전 관측 가능한 MDP 프레임워크를 사용해 100회의 시뮬레이션 프레젠테이션에서 유도된 데이터로 훈련된다. 각 프레젠테이션은 30개의 결정 단계를 포함한다.
• 확률 및 보상 추정치의 수렴을 반복 횟수에 따라 모니터링하고 시각화하며, 빠른 안정화를 보여준다.
• 최종 정책은 추정된 파rameter를 사용해 직접 MDP 문제를 해결함으로써 도출되며, 이는 로봇이 운영자의 행동을 모방할 수 있도록 한다.
• 시스템은 '핫' 업데이트를 지원하여 로봇 운영을 중단하지 않고도 재적응이 가능하다.

실험 결과

연구 질문

• RQ1 모바일 로봇이 운영자의 행동을 관측함으로써 인간 운영자의 의사결정 선호도를 학습하고 재현할 수 있는가?
• RQ2 제한된 행동 데이터에서 역 MDP 접근법이 진짜 보상 함수와 전이 확률을 얼마나 효과적으로 추정할 수 있는가?
• RQ3 추정된 정책의 수렴 속도와 정확도는 운영자 실제 전략과 비교해 어떻게 되는가?
• RQ4 모델은 로봇 운영을 중단하지 않고도 실시간으로 동적으로 업데이트될 수 있는가?

주요 결과

• 전이 확률 및 보상 함수 추정치가 모두 빠른 수렴을 보였으며, 확률 추정치는 40~60단계 이내에 안정화되었다.
• 추정된 보상 값은 진짜 모델 값과 10~15단위 이내로 수렴했다 (예: r12(1)은 약 79에 도달하여 표 1의 모델 값 79와 일치).
• 추정된 정책 하에서의 평균 보상은 안정 상태에서 71단위에 도달했으며, 운영자 순수 전략의 보상과 매우 유사하여 의사결정자의 선호도와 높은 정밀도를 보였다.
• 시스템은 결정 시퀀스에서 운영자의 순수 전략을 성공적으로 식별하여 정확한 선호도 모델링을 확인했다.
• 역 MDP 접근법을 통해 로봇는 인간 운영자 전략과 동일한 성능을 보이는 정책을 생성했으며, 성능 저하 없이 작동했다.
• 모델는 동적 재적응 및 '핫' 업데이트를 지원하여 변화하는 선호도 또는 비정상적인 환경에서도 지속적인 학습이 가능하다.