[논문 리뷰] Robot Navigation using Reinforcement Learning and Slow Feature Analysis

Wendelin Böhmer|arXiv (Cornell University)|2012. 05. 04.

Robotic Path Planning Algorithms참고 문헌 7인용 수 4

한 줄 요약

이 논문은 강화학습을 위한 로봇 주행에서 원시 영상 데이터로부터 저차원적이고 시간적으로 부드러운 상태 표현을 추출하기 위해 서브피처 분석(SFA)을 사용하는 것을 제안한다. 무작위 카메라 영상 시퀀스로 훈련된 SFA 기반 특징은 최소 제곱 정책 반복(LSPI) 알고리즘을 통해 시뮬레이션 환경에서 약 80%의 성공률을 달성하게 하여, SFA가 강화학습 에이전트를 위한 선형 근사가 가능한 상태 표현을 생성하는 데 효과적임을 보여준다.

ABSTRACT

The application of reinforcement learning algorithms onto real life problems always bears the challenge of filtering the environmental state out of raw sensor readings. While most approaches use heuristics, biology suggests that there must exist an unsupervised method to construct such filters automatically. Besides the extraction of environmental states, the filters have to represent them in a fashion that support modern reinforcement algorithms. Many popular algorithms use a linear architecture, so one should aim at filters that have good approximation properties in combination with linear functions. This thesis wants to propose the unsupervised method slow feature analysis (SFA) for this task. Presented with a random sequence of sensor readings, SFA learns a set of filters. With growing model complexity and training examples, the filters converge against trigonometric polynomial functions. These are known to possess excellent approximation capabilities and should therfore support the reinforcement algorithms well. We evaluate this claim on a robot. The task is to learn a navigational control in a simple environment using the least square policy iteration (LSPI) algorithm. The only accessible sensor is a head mounted video camera, but without meaningful filtering, video images are not suited as LSPI input. We will show that filters learned by SFA, based on a random walk video of the robot, allow the learned control to navigate successfully in ca. 80% of the test trials.

연구 동기 및 목표

• 실세계 강화학습에서 고차원적 원시 센서 데이터로부터 의미 있는 환경 상태를 추출하는 데 도전하는 것.
• 현대 강화학습 알고리즘에 적합한 강한 선형 근사 성질을 지닌 상태 표현을 생성하는 비지도 방법을 개발하는 것.
• 시각 카메라만을 사용하여 주행 작업에 효과적인 상태 특징을 SFA가 생성할 수 있는지 평가하는 것.
• SFA 기반 특징이 시뮬레이션된 로봇 주행 작업에서 LSPI 알고리즘의 성능을 향상시키는지 보여주는 것.

제안 방법

• 헤드 마운트 카메라로 촬영한 영상 프레임의 무작위 워크를 통해 SFA를 훈련시켜 고차원 이미지 데이터에서 천천히 변화하는 특징을 학습한다.
• 학습된 SFA 특징은 LSPI 알고리즘의 상태 표현으로 사용되며, 이 알고리즘은 선형 함수 근사를 통해 주행 정책을 학습한다.
• SFA는 시간에 따라 천천히 변화하는 특징을 최적화하여, 뛰어난 선형 근사 성질을 지닌 삼각함수 다항식으로 수렴한다.
• LSPI 알고리즘은 이러한 SFA 특징을 입력으로 받아 간단한 주행 환경에서 누적 보상 최대화 정책을 학습한다.
• 로봇이 환경을 무작위로 이동하는 워크가 SFA의 비지도 훈련 데이터로 사용되며, 레이블이 붙은 상태나 작업에 특화된 감독이 필요로 하지 않는다.
• 이 방법은 SFA가 삼각함수 함수로 수렴하는 이론적 성질에 기반하며, 이는 선형 함수 근사에 매우 적합하다.

실험 결과

연구 질문

• RQ1 SFA는 원시 영상 데이터로부터 저차원적이고 시간적으로 일관성 있는 상태 표현을 강화학습에 효과적으로 추출할 수 있는가?
• RQ2 SFA에서 유도된 특징은 LSPI와 같은 정책 반복 프레임워크에서 효과적인 선형 함수 근사를 지원하는가?
• RQ3 시각 카메라와 SFA 기반 상태 표현만으로 로봇이 성공적으로 주행을 학습할 수 있는가?
• RQ4 SFA 특징을 사용한 LSPI의 성능은 주행 작업에서 기준 대비 방법과 비교해 어떻게 되는가?
• RQ5 SFA가 삼각함수 함수로 수렴하는 것이 최종 정책의 품질에 어떤 영향을 미치는가?

주요 결과

• SFA에서 추출한 특징을 제공받은 LSPI 알고리즘은 시험 시도에서 약 80%의 주행 성공률를 달성하였다.
• SFA는 레이블이 붙은 상태나 작업에 특화된 감독 없이도 원시 영상 데이터로부터 의미 있는 저차원 표현을 효과적으로 추출하였다.
• 이론적 분석을 통해 SFA가 삼각함수 다항식 함수로 수렴함을 보여주었으며, 이는 강력한 선형 근사 능력으로 잘 알려져 있다.
• SFA는 원시 이미지 데이터의 차원을 줄이면서도 시간적 일관성을 유지하여 효과적인 정책 학습을 가능하게 하였다.
• 복잡한 원시 시각 입력에도 불구하고, 간단한 주행 환경에서 이 방법은 뛰어난 내성적 특성을 보였다.
• 결과적으로 SFA는 실세계 강화학습 응용 분야에서 상태 표현 학습을 위한 실현 가능한 비지도 방법임을 시사한다.