[논문 리뷰] Dense Optical Flow Prediction from a Static Image

Jacob Walker, Abhinav Gupta외 1명|arXiv (Cornell University)|2015. 05. 02.

Human Pose and Action Recognition참고 문헌 25인용 수 18

한 줄 요약

이 논문은 수만 개의 레이블이 없는 영상에서 자기지도 학습을 활용하여 단일 정적 이미지에서 조밀한 광학 흐름을 예측하는 컨volution 신경망(CNN)을 제안한다. 모델은 인간의 레이블이나 개별 에이전트 중심의 가정 없이도 장면 구조와 동작 자세에서 운동 맥락을 추론함으로써 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Given a scene, what is going to move, and in what direction will it move? Such a question could be considered a non-semantic form of action prediction. In this work, we present a convolutional neural network (CNN) based approach for motion prediction. Given a static image, this CNN predicts the future motion of each and every pixel in the image in terms of optical flow. Our CNN model leverages the data in tens of thousands of realistic videos to train our model. Our method relies on absolutely no human labeling and is able to predict motion based on the context of the scene. Because our CNN model makes no assumptions about the underlying scene, it can predict future optical flow on a diverse set of scenarios. We outperform all previous approaches by large margins.

연구 동기 및 목표

• 인간이 레이블링한 동작 레이블이나 에이전트 중심의 가정에 의존하지 않고 단일 정적 이미지에서 일반화된 운동 예측을 가능하게 하기 위해.
• 자세와 장면 레이아웃과 같은 맥락적 신호에 기반해 미래 픽셀 수준의 운동(광학 흐름)을 추론하는 딥 러닝 프레임워크를 개발하기 위해.
• 실내 및 실외 환경에서 다수의 에이전트를 포함해 다양한 환경에서 일반화할 수 있도록 대규모 비정형 영상 데이터로 모델을 훈련하기 위해.
• 단일 프레임 모델을 확장하여 광학 흐름 프레임의 시퀀스를 예측함으로써 장거리 운동 예측을 탐색하기 위해.
• 영상 데이터에서 자기지도 사전학습이 ImageNet 기반의 감독 학습 사전학습 없이도 강력한 성능을 낼 수 있음을 보여주기 위해.

제안 방법

• 사전에 훈련된 광학 흐름 알고리즘을 통해 레이블이 없는 영상 클립에서 유도된 광학 흐름 레이블을 사용하여 단일 이미지에서 조밀한 광학 흐름을 예측하는 CNN을 훈련한다.
• UCF-101 및 HMDB-51 데이터셋에서 자기지도 학습을 활용하여 인간이 레이블링한 동작 또는 운동 레이블을 전혀 사용하지 않는다.
• 비공유 가중치를 가진 다단계 완전 연결 네트워크를 사용하여 광학 흐름 프레임의 시퀀스를 예측하며, 시간적 변화를 이산적 흐름 클러스터의 시퀀스로 모델링한다.
• 1000개의 대표적 광학 흐름 프레임을 포함하는 코드북을 생성하기 위해 k-means 클러스터링을 적용하며, 향후 운동 예측을 시퀀스 생성 과제로 간주한다.
• 전개된 RNN에 영감을 받은 시간적으로 깊은 아키텍처를 사용하며, 각 예측 단계에서 이전 모든 은닉 상태와 이미지 특징에 접근할 수 있도록 한다.
• 카메라 운동을 제거하여 훈련 데이터를 안정화시켜 네트워크가 물체 수준의 운동에 집중하도록 하지만, 안정화 없이도 성능가 뚜렷한 강건성을 유지한다.

실험 결과

연구 질문

• RQ1 딥 컨volution 신경망은 인간이 레이블링한 운동 또는 동작 레이블이 전혀 없는 단일 정적 이미지에서 조밀한 광학 흐름을 예측할 수 있는가?
• RQ2 대규모 영상 데이터에서 자기지도 학습을 통해 다양한 장면과 운동 유형으로 일반화되는 정도가 감독 학습 또는 도메인 특화 방법에 비해 얼마나 우수한가?
• RQ3 학습 분포를 초월한 새로운 환경과 운동 패턴으로 일반화할 수 있는가?
• RQ4 단일 프레임 광학 흐름 예측 모델을 다중 프레임 운동 시퀀스 예측으로 확장하는 것이 가능한가?
• RQ5 이 운동 예측 과제에서 자기지도 사전학습의 성능가 감독 학습 기반 ImageNet 사전학습과 비교해 어떻게 되는가?

주요 결과

• 제안된 CNN 모델은 단일 이미지에서 조밀한 광학 흐름 예측에서 최신 기술 수준의 성능을 달성하며, 이전 모든 접근 방식을 능가한다.
• UCF-101에서 훈련하고 HMDB-51에서 테스트하거나 그 반대의 경우에도 성능이 우수하여 다양한 영상 도메인 간 강력한 일반화 능력을 보여준다.
• 영상 데이터에서 자기지도 사전학습은 무작위 초기화보다 뛰어난 결과를 낳지만, 감독 학습 기반 ImageNet 사전학습은 유의미한 성능 향상만을 제공한다.
• 모델은 카메라 운동에 강건하다: 비안정화된 영상 데이터로 훈련해도 성능 저하가 미미하다.
• 다중 프레임 확장은 광학 흐름 프레임의 시퀀스를 성공적으로 예측하여, 클러스터링된 이산적 시퀀스 생성 접근 방식을 활용한 장거리 운동 예측의 가능성을 입증한다.
• 파rameter 수가 더 많음에도 불구하고, 완전 연결 시간 네트워크가 반복형 LSTM 기반 아키텍처를 능가하며, 실험에서 평균 궤적으로 붕괴하는 경향이 있었다.