[논문 리뷰] Learning Actionable Representations from Visual Observations

Debidatta Dwibedi, Jonathan Tompson외 2명|arXiv (Cornell University)|2018. 08. 02.

Human Pose and Action Recognition참고 문헌 39인용 수 16

한 줄 요약

이 논문은 다중 프레임 시간 대비 네트워크(mfTCN)를 제안하며, 이는 자기 지율적 방법으로 여러 비디오 프레임을 동시에 임bedding하여 정적 및 운동적 특성을 모두 포함하는 강력한 시각적 표현을 학습한다. 위치 및 속도 추정을 향상시킴으로써 mfTCN는 진짜 상태 정보 없이도 픽셀 관측만으로도 연속 제어 과제에서 효과적인 정책 학습을 가능하게 하여 시뮬레이션 및 실제 세계 벤치마크에서 최신 상태 기반 정책과 경쟁 가능한 성능을 달성한다.

ABSTRACT

In this work we explore a new approach for robots to teach themselves about the world simply by observing it. In particular we investigate the effectiveness of learning task-agnostic representations for continuous control tasks. We extend Time-Contrastive Networks (TCN) that learn from visual observations by embedding multiple frames jointly in the embedding space as opposed to a single frame. We show that by doing so, we are now able to encode both position and velocity attributes significantly more accurately. We test the usefulness of this self-supervised approach in a reinforcement learning setting. We show that the representations learned by agents observing themselves take random actions, or other agents perform tasks successfully, can enable the learning of continuous control policies using algorithms like Proximal Policy Optimization (PPO) using only the learned embeddings as input. We also demonstrate significant improvements on the real-world Pouring dataset with a relative error reduction of 39.4% for motion attributes and 11.1% for static attributes compared to the single-frame baseline. Video results are available at https://sites.google.com/view/actionablerepresentations .

연구 동기 및 목표

• 라벨이 붙은 상태나 보상 정보가 없이도 비디오 관측에서 정적 및 운동적 특성을 모두 포괄하는 자기 지율적 시각적 표현 학습 방법을 개발하는 것.
• TCN와 같은 단일 프레임 방법이 속도와 시간적 동역학을 효과적으로 표현하지 못하는 한계를 해결하는 것.
• 프roprioceptive 상태 입력과 동일한 정보량을 지닌 표현을 학습함으로써 픽셀에서부터 엔드 투 엔드 강화 학습을 가능하게 하는 것.
• 특히 도메인 이동이나 새로운 물체에 노출되었을 때에도 일반화 능력과 강인성을 향상시켜 실제 로봇 제어 과제에서의 성능을 높이는 것.
• 자기 지율적 시각적 표현이 연속 제어 환경에서 상태 기반 정책과 경쟁 가능한 성능을 달성할 수 있음을 입증하는 것.

제안 방법

• 단일 순방향 프로세싱에서 다중 연속 프레임을 함께 처리할 수 있도록 Time-Contrastive Networks(TCN)를 확장하여 다중 프레임 임베딩을 형성하는 것.
• 동일한 이벤트의 클립을 서로 다른 시점에서 촬영한 경우를 양성 쌍으로 간주하고, 다른 시간 단계의 클립을 음성 쌍으로 간주하는 대비 손실을 사용하는 것.
• 시간적으로 정렬된 클립(동일한 이벤트의 서로 다른 시점에서의 관측)은 임베딩 공간에서 가까이, 비정렬된 클립은 멀리 떨어지도록 네트워크를 훈련하는 것.
• 시간적 맥락을 활용하여 변화를 분석함으로써 운동적 특성(예: 속도, 가속도)의 표현을 향상시키는 것.
• 학습된 임베딩을 Proximal Policy Optimization(PPO)에 입력하여 픽셀에서부터 직접 연속 제어 정책을 훈련하는 것.
• 하류 작업을 통해 임베딩 품질을 평가: 정적 및 운동적 특성에 대한 최근접 이웃 분류, 동기화된 비디오 시점 간의 시간적 정렬 오차 측정.

실험 결과

연구 질문

• RQ1 다중 프레임 시각적 표현은 단일 프레임 표현보다 더 정확한 위치 및 속도 추정을 할 수 있는가?
• RQ2 비디오에서만 학습된 자기 지율적 시각적 표현이 진짜 상태 정보에 접근할 수 없는 연속 제어 과제에서 효과적인 정책 학습을 가능하게 하는가?
• RQ3 다중 프레임에서의 시간적 맥락은 단일 프레임 기준선 대비 운동적 특성의 표현을 얼마나 향상시키는가?
• RQ4 mfTCN 표현은 액체 부어넣기와 같은 실제 로봇 제어 과제에 얼마나 잘 일반화되는가?
• RQ5 mfTCN 기반 정책은 진짜 프로 prioceptive 상태 관측치로 훈련된 정책과 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• mfTCN는 실제 세계 Pouring 데이터셋에서 단일 프레임 TCN 기준선 대비 운동적 특성 오류를 39.4% 감소시키고 정적 특성 오류를 11.1% 감소시켰다.
• 13프레임 입력 윈도우를 사용한 모델(mfTCN 13)이 최고의 성능을 보였으며, 운동적 특성 오류를 TCN 기준선의 30.2%에서 18.3%로 감소시켰다.
• 시간적 맥락을 통합함으로써 운동적 특성 인식 뿐 아니라 정적 특성 분류 능력까지 향상되었으며, 특히 "액체가 있는지 여부" 및 "액체가 흐르는지 여부"와 같은 특성에서 두드러진 향상이 있었다.
• 가장 큰 입력 윈도우(29프레임)가 가장 낮은 시간적 정렬 오차를 기록하여 임베딩 공간에서 클립 간의 모호함을 더 잘 제거함을 시사했다.
• DeepMind Control Suite에서 mfTCN 임베딩을 사용해 훈련한 정책는 진짜 상태 표현으로 훈련된 정책와 경쟁 가능한 성능을 보였으며, 학습된 특징의 실용성을 입증했다.
• 이 방법은 픽셀에서부터 직접 효과적인 정책 학습을 가능하게 하였으며, 픽셀 기반의 초기 학습 및 이전 자기 지율적 방법(PVE)보다 뛰어난 성능을 보였다.