[논문 리뷰] Anticipating the future by watching unlabeled video.

Carl Vondrick, Hamed Pirsiavash외 1명|arXiv (Cornell University)|2015. 04. 29.

Human Pose and Action Recognition참고 문헌 48인용 수 105

한 줄 요약

이 논문은 레이블이 없는 영상을 활용하여 미래 시각적 표현을 예측할 수 있도록 깊이 있는 네트워크를 훈련시키는 자기지도 학습 프레임워크를 제안한다. 이를 통해 행동과 물체의 예측이 가능해지며, 비정형 영상 데이터의 시간적 구조를 활용함으로써 실제 세계 데이터셋에서의 미래 예측 성능이 크게 향상된다.

ABSTRACT

In many computer vision applications, machines will need to reason beyond the present, and predict the future. This task is challenging because it requires leveraging ex-tensive commonsense knowledge of the world that is diffi-cult to write down. We believe that a promising resource for efficiently obtaining this knowledge is through the mas-sive amounts of readily available unlabeled video. In this paper, we present a large scale framework that capitalizes on temporal structure in unlabeled video to learn to antic-ipate both actions and objects in the future. The key idea behind our approach is that we can train deep networks to predict the visual representation of images in the future. We experimentally validate this idea on two challenging “in the wild ” video datasets, and our results suggest that learning with unlabeled videos significantly helps forecast actions and anticipate objects. 1.

연구 동기 및 목표

• 컴퓨터 비전 응용 분야에서 기계가 미래에 대해 추론할 수 있도록 하는 도전 과제를 해결하기 위해.
• 지식 획득을 위해 막대한 양의 레이블이 없는 영상을 활용함으로써 고비용의 인간 레이블링 데이터에 대한 의존도를 줄이기 위해.
• 영상의 시간적 모델링을 통해 일반적인 세계 지식을 학습할 수 있는 확장 가능한 프레임워크를 개발하기 위해.
• 미래 시각적 특징을 예측하도록 모델을 훈련시켜 행동과 물체의 예측 성능를 향상시키기 위해.
• 실제 세계의 정제되지 않은 영상 데이터셋에서 자기지도 학습의 효과성을 검증하기 위해.

제안 방법

• 프레임워크는 영상 클립의 시간적 순서만을 사용하여 미래 프레임의 시각적 표현을 예측할 수 있도록 딥 네ural 네트워크를 훈련시킨다.
• 레이블이 없는 영상 내부의 고유한 시간적 구조를 표현 학습을 위한 감독 신호로 활용한다.
• 과거 및 현재 프레임에서 미래 프레임을 예측할 수 있는 공동 임베딩 공간을 학습한다.
• 이 방법은 엔드 투 엔드로 미분 가능하여 영상 시퀀스를 거쳐 역전파를 통해 미래 예측을 최적화할 수 있다.
• 행동 또는 물체의 레이블이 필요 없으며, 순수하게 영상의 순서만을 감독 신호로 사용한다.
• 일반화성과 강건성을 평가하기 위해 두 개의 실제 세계 영상 데이터셋에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 영상에서 자기지도 학습이 컴퓨터 비전에서 미래 예측 성능을 향상시키는가?
• RQ2 레이블이 없는 영상의 시간적 구조가 일반적인 세계 지식을 학습하는 데 얼마나 효과적인가?
• RQ3 명시적인 레이블 없이 미래 시각적 표현을 얼마나 잘 예측할 수 있는가?
• RQ4 정제되지 않은 실제 세계 영상에서 학습한 모델이 후속 예측 작업으로 일반화되는가?
• RQ5 자기지도 사전 훈련이 행동 및 물체 예측 성능에 어떤 영향을 미치는가?

주요 결과

• 모델은 레이블이 없는 영상 데이터를 활용함으로써 미래 예측 성능에 상당한 향상을 이룬다.
• 비정형 영상에서 자기지도 사전 훈련을 통해 후속 예측 작업에서 더 나은 일반화 성능을 달성한다.
• 어떤 인간 레이블도 필요 없이 행동과 물체를 효과적으로 예측할 수 있도록 학습한다.
• 두 개의 과제가 까다로운 실제 세계 영상 데이터셋에서 성능 향상이 관찰되어 강건성을 입증한다.
• 레이블이 없는 영상의 시간적 구조가 미래 예측을 학습하는 데 강력한 신호임을 검증한다.
• 강력한 예측 성능를 유지하면서도 고비용 레이블링에 대한 의존도를 줄인다.