[논문 리뷰] Motion Perception in Reinforcement Learning with Dynamic Objects

Artemij Amiranashvili, Alexey Dosovitskiy외 2명|arXiv (Cornell University)|2019. 01. 10.

Reinforcement Learning in Robotics참고 문헌 31인용 수 10

한 줄 요약

이 논문은 동적 환경에서 연속 제어를 위한 강화학습에 광학 흐름 또는 이미지 차이를 통한 명시적 운동 표현을 통합하는 것을 제안한다. 사전 훈련된 또는 자기지도 학습된 광학 흐름, 특히 이미지 차이를 입력으로 사용할 경우, 움직이는 물체가 있는 작업에서 정책 성능이 크게 향상되며, 표준 프레임 스택보다 뛰어나고 이전에는 해결되지 않은 작업에서도 학습이 가능해진다.

ABSTRACT

In dynamic environments, learned controllers are supposed to take motion into account when selecting the action to be taken. However, in existing reinforcement learning works motion is rarely treated explicitly; it is rather assumed that the controller learns the necessary motion representation from temporal stacks of frames implicitly. In this paper, we show that for continuous control tasks learning an explicit representation of motion improves the quality of the learned controller in dynamic scenarios. We demonstrate this on common benchmark tasks (Walker, Swimmer, Hopper), on target reaching and ball catching tasks with simulated robotic arms, and on a dynamic single ball juggling task. Moreover, we find that when equipped with an appropriate network architecture, the agent can, on some tasks, learn motion features also with pure reinforcement learning, without additional supervision. Further we find that using an image difference between the current and the previous frame as an additional input leads to better results than a temporal stack of frames.

연구 동기 및 목표

• 움직이는 물체가 있는 동적 환경에서 명시적 운동 표현이 강화학습 성능을 향상시키는지 조사하기.
• 연속 제어 작업에서 딥 강화학습 에이전트의 보조 입력으로서 광학 흐름의 효과를 평가하기.
• 운동에 대한 지도 학습 없이 강화학습 보상만으로도 운동 특징을 비지도로 학습할 수 있는지 확인하기.
• 이미지 차이 입력이 프레임 스택 기반 베이스라인과 비교해 동적 강화학습 작업에서 성능에 어떤 영향을 미치는지 비교하기.
• 실시간 추론 제약 조건을 충족하는 엔드 투 엔드 강화학습 훈련에서 경량 광학 흐름 네트워크의 적용 가능성 평가하기.

제안 방법

• 실시간 추론을 위해 최적화된 흐름넷에서 파생된 작고 효율적인 광학 흐름 네트워크(TinyFlowNet)를 제안하며, 강화학습 훈련 중 실시간 추론에 적합하도록 설계되었다.
• 정책 네트워크에 보조 입력으로 광학 흐름 네트워크를 통합하여 원시 관측값 외에 운동 신호를 제공한다.
• 광학 흐름 네트워크를 두 가지 모드로 훈련: 합성 흐름 데이터 기반 지도 학습 사전 훈련, 그리고 강화학습 보상만으로 엔드 투 엔드 미세조정.
• 프레임 스택의 대체 또는 보완으로 현재 프레임에서 이전 프레임을 뺀 이미지 차이를 운동 표현 입력으로 도입한다.
• Walker, Swimmer, Hopper 및 커스텀 로봇 조작 작업을 포함한 벤치마크 환경에서 표준 딥 강화학습 알고리즘(SAC 등)을 적용한다.
• 학습된 운동 표현을 시각화하여 네트워크가 관련 물체(예: 공)의 운동을 인코딩하는 데 성공했는지, 자가 운동(예: 로봇 암)은 무시하는지 분석한다.

실험 결과

연구 질문

• RQ1 프레임 스택에서 암묵적으로 학습하는 운동과 비교해 광학 흐름을 통한 명시적 운동 표현이 동적 강화학습 작업에서 정책 성능을 향상시키는가?
• RQ2 운동에 대한 지도 학습 없이 강화학습 보상만으로도 운동 특징을 성공적으로 비지도로 학습할 수 있는가?
• RQ3 이미지 차이(현재 프레임에서 이전 프레임을 뺀 값)가 픽셀 기반 강화학습에서 시간적 프레임 스택보다 더 효과적인 운동 표현인가?
• RQ4 어떤 종류의 동적 제어 작업에서 명시적 운동 표현이 성공적인 학습을 위해 필수적인가?
• RQ5 네트워크 아키텍처의 선택이 보상만으로 운동 표현을 학습하는 데 어떤 영향을 미치는가?

주요 결과

• 광학 흐름을 보조 입력으로 사용함으로써 모든 테스트된 동적 제어 작업에서 정책 성능이 일관되게 향상되었으며, 특히 운동 복잡도가 높은 작업에서 두드러졌다.
• 3D KeepUp with High Motion Penalty 작업에서, 프레임 스택으로만 학습을 시작한 정책는 완전히 실패했지만, 사전 훈련된 TinyFlowNet을 사용한 정책는 성공했다.
• 간단한 작업(예: 2D Chaser)에서는 강화학습 보상만으로도 광학 흐름 네트워크를 비지도로 학습하는 데 성공했으며, 지도 학습 사전 훈련과 비교해 유사한 성능를 달성했다.
• 3D KeepUp with High Motion Penalty와 같은 어려운 작업에서는 비지도 학습이 운동 특징을 학습하지 못했으며, 이는 운동 표현 학습을 부트스트랩하기 위해 지도 학습 사전 훈련이 필요함을 시사한다.
• 이미지 차이 입력은 모든 작업에서 프레임 스택 기반 베이스라인을 뛰어넘거나 동등하게 성능을 내었으며, 이는 더 효과적이고 계산적으로 효율적인 운동 표현임을 시사한다.
• 자기지도 학습된 TinyFlowNet의 시각화 결과, 네트워크가 공의 운동을 잘 표현하면서 로봇 암의 자가 운동은 대부분 무시하는 것으로 나타나, 작업에 관련된 역학적 요소에만 집중하는 선택적 주의를 보였다.