[논문 리뷰] Learning Robot Activities from First-Person Human Videos Using Convolutional Future Regression

Jangwon Lee, Michael S. Ryoo|arXiv (Cornell University)|2017. 03. 03.

Human Pose and Action Recognition참고 문헌 18인용 수 5

한 줄 요약

이 논문은 레이블이 없는 1인칭 인간 비디오에서 직접적으로 새로운 활동을 학습할 수 있도록 하는 새로운 비지도 딥러닝 접근법을 제안한다. 완전 컨volution 네트워크를 사용하여 미래의 손과 물체 위치를 회귀함으로써, 로봇은 레이블이 없는 시연나 사전 정의된 원자 행동이 없이 실시간으로 종단 간 모터 제어 추론을 수행한다. SSD를 손-물체 검출에 확장하고, 시나리오 표현의 시간적 변화를 예측하기 위해 미래 회귀 네트워크를 훈련시킴으로써, 기존의 기준 대비 인간-로봇 상호작용에서 협업 성공률을 크게 향상시킨다.

ABSTRACT

We design a new approach that allows robot learning of new activities from unlabeled human example videos. Given videos of humans executing the same activity from a human's viewpoint (i.e., first-person videos), our objective is to make the robot learn the temporal structure of the activity as its future regression network, and learn to transfer such model for its own motor execution. We present a new deep learning model: We extend the state-of-the-art convolutional object detection network for the representation/estimation of human hands in training videos, and newly introduce the concept of using a fully convolutional network to regress (i.e., predict) the intermediate scene representation corresponding to the future frame (e.g., 1-2 seconds later). Combining these allows direct prediction of future locations of human hands and objects, which enables the robot to infer the motor control plan using our manipulation network. We experimentally confirm that our approach makes learning of robot activities from unlabeled human interaction videos possible, and demonstrate that our robot is able to execute the learned collaborative activities in real-time directly based on its camera input.

연구 동기 및 목표

• 레이블이 없는 1인칭 인간 비디오에서만 학습하여 레이블이 있는 시연나 사전 정의된 원자 행동이 없이 새로운 활동을 학습할 수 있도록 하는 것.
• 실제 로봇 데이터의 제한을 극복하기 위해 인간 대조 비디오를 확장 가능한 교육 자원으로 활용하는 것.
• 시각적 관측을 모터 제어 정책으로 매핑하는 실시간 종단 간 시스템을 개발하는 것. 이 시스템은 손과 물체 위치의 미래 예측을 기반으로 한다.
• 수동으로 코딩된 운동 정책이 필요 없도록 예측된 미래 상태에서 직접적으로 모터 명령을 유도하는 것.

제안 방법

• 1인칭 비디오 프레임에서 인간 손과 물체를 검출하고 표현하기 위해 SSD 객체 검출 네트워크를 확장한다.
• 미래 프레임(예: 1~2초 뒤)에 대한 중간 시나리오 표현을 예측하는 완전 컨volution 미래 회귀 네트워크를 도입한다.
• 비디오 시퀀스에서 시간적 일관성을 통해 미래 회귀 네트워크를 훈련시키는 데 사용되는 예측된 미래 손과 물체 위치를 감독 신호로 활용한다.
• 미래 회귀 출력과 조작 네트워크를 조합하여 2D 이미지 공간의 손 위치를 7-DOF 로봇 관절 각도로 매핑한다.
• 행동 레이블이나 손/자세 애너테이션 없이도 비디오 데이터만으로 전체 시스템을 종단 간 훈련시킨다.
• 단일 GPU에서 프레임당 약 100ms의 실시간 추론을 구현하여 실시간 인간-로봇 협업을 가능하게 한다.

실험 결과

연구 질문

• RQ1 로봇은 레이블이 없는 1인칭 인간 비디오에서만 학습하여 행동 애너테이션이나 시연 없이 새로운 협업 활동을 수행할 수 있는가?
• RQ2 미래 회귀 네트워크는 1인칭 비디오에서 인간 손과 물체 위치의 공간적·시간적 변화를 얼마나 효과적으로 예측할 수 있는가?
• RQ3 미래 손 위치 예측이 실시간에서 정확하고 적시에 모터 제어 명령을 생성하는 데 로봇의 능력을 얼마나 향상시키는가?
• RQ4 제안된 비지도 접근법은 인간-로봇 협업 성공률 측면에서 지도 학습 또는 기준 방법보다 어떻게 비교되는가?

주요 결과

• 제안된 방법은 인간-로봇 협업 과제에서 평균 사용자 평가 점수 3.29/5를 기록하여 모든 기준 방법(1.72, 1.92, 2.29)을 크게 앞서며 성과를 내었다.
• 참가자들은 식탁 정리(3.17/5)와 트리벳 전달(3.42/5) 과제에서 로봇의 능력을 더 높게 평가하여 강한 작업 성공 인식을 보였다.
• 단일 Titan X GPU를 사용하여 프레임당 약 100ms의 실시간으로 시스템이 작동하여 실시간 인간-로봇 상호작용을 가능하게 했다.
• 미래 회귀 네트워크는 향후 프레임에 예측된 위치를 겹쳐 표시함으로써 높은 정확도로 미래 손 위치를 성공적으로 예측했다.
• 미래 회귀 훈련의 비지도 성격 덕분에, 레이블이 있는 전이나 행동 시퀀스가 필요 없이 다양한 활동 간 일반화가 가능했다.
• 지각 및 조작 구성 요소의 조합 덕분에, 명시적 운동 계획이나 수동으로 코딩된 정책 없이도 시각 입력만으로도 복잡한 협업 과제를 수행할 수 있었다.