[논문 리뷰] Disentangling Motion, Foreground and Background Features in Videos

Xunyu Lin, Víctor Campos외 3명|arXiv (Cornell University)|2017. 07. 13.

Advanced Vision and Imaging참고 문헌 13인용 수 3

한 줄 요약

이 논문은 3D 컨volution 오토인코더 아키텍처를 사용하여 비디오에서 운동, 전경, 배경 특징을 비지도 학습 방식으로 분리하는 딥 러닝 프레임워크를 제안한다. 운동에 민감한 분리 기반으로 프레임 재구성에 대해 훈련함으로써, 의미적으로 유의미한 특징을 학습하며 행동 인식 정확도를 크게 향상시킨다—UCF-101 테스트 세트에서 62.5%의 정확도를 기록하여 무작위 초기화 및 오토인코더 미세조정보다 10% 이상 향상된다.

ABSTRACT

This paper introduces an unsupervised framework to extract semantically rich features for video representation. Inspired by how the human visual system groups objects based on motion cues, we propose a deep convolutional neural network that disentangles motion, foreground and background information. The proposed architecture consists of a 3D convolutional feature encoder for blocks of 16 frames, which is trained for reconstruction tasks over the first and last frames of the sequence. A preliminary supervised experiment was conducted to verify the feasibility of proposed method by training the model with a fraction of videos from the UCF-101 dataset taking as ground truth the bounding boxes around the activity regions. Qualitative results indicate that the network can successfully segment foreground and background in videos as well as update the foreground appearance based on disentangled motion features. The benefits of these learned features are shown in a discriminative classification task, where initializing the network with the proposed pretraining method outperforms both random initialization and autoencoder pretraining. Our model and source code are publicly available at https://imatge-upc.github.io/unsupervised-2017-cvprw/ .

연구 동기 및 목표

• 운동 신호를 이용해 인간의 인지적 그룹화 방식을 모방하는 비지도 비디오 표현 학습 프레임워크를 개발하는 것.
• 비용이 많이 드는 인간 레이블링에 의존하지 않고 비디오 클립에서 운동, 전경, 배경 특징을 분리하는 것.
• 분리된 특징을 통한 미세조정을 통해 분류 성능 향상을 이루는 것.
• 운동 기반 분리가 랜덤 또는 오토인코더 미세조정보다 더 우수한 일반화 성능을 보이는지 입증하는 것.

제안 방법

• 16프레임 비디오 클립을 처리하고 공통의 봉쇄 특징 공간으로 매핑하는 3D 컨volution 신경망 인코더.
• 봉쇄 특징이 세 개의 별도 헤드로 분할됨: 하나는 운동, 하나는 전경 외관, 하나는 배경 외관.
• 각 헤드는 재구성 손실을 사용하여 클립의 첫 번째 및 마지막 프레임에서 해당 구성요소(운동, 전경, 배경)를 재구성하도록 훈련됨.
• 멀티스트림 디코더 아키텍처를 사용하며, 운동, 전경, 배경 재구성에 각각 별도의 디코더가 존재함.
• 훈련 중에 참조 세그멘테이션 마스크를 사용하지만, 향후 uNLC와 같은 방법을 통해 비지도 전경 세그멘테이션을 지원하도록 설계됨.
• 분리된 특징 위에 선형 소프트맥스 레이어를 추가하여 행동 인식을 위해 미세조정함.

실험 결과

연구 질문

• RQ1 운동 신호만으로도 비디오에서 전경과 배경을 비지도로 분리할 수 있는가?
• RQ2 운동, 전경, 배경을 분리하는 것이 표준 오토인코딩보다 더 나은 비디오 표현 학습을 이끌어내는가?
• RQ3 제안된 미세조정 방법이 제한된 레이블 데이터에서 행동 인식 성능 향상에 기여하는가?
• RQ4 하류 작업에서 랜덤 초기화 및 오토인코더 미세조정과 비교해 모델의 성능은 어떻게 되는가?
• RQ5 인간 레이블링이 없는 실세계 비디오 이해 작업에 모델이 일반화 가능한가?

주요 결과

• 분리된 특징을 통한 미세조정 후 UCF-101 테스트 세트에서 62.5%의 정확도를 기록하여, 무작위 초기화(52.2%) 및 오토인코더 미세조정(56.8%)보다 뛰어난 성능을 보였다.
• 사전 훈련된 모델는 단 한 에포크 만에 90%의 훈련 정확도를 달성했고, 무작위 초기화된 모델는 동일한 성능에 도달하기 위해 130 에포크가 필요했다.
• 정성적 결과는 네트워크가 움직이는 객체를 전경으로 성공적으로 세그멘테이션하고, 전역 이동과 국소 자세 변화를 모두 포착하는 운동 특징을 재구성함을 보여준다.
• 분리된 운동 특징은 프레임 간 물체 이동과 제스처 변화를 정확하게 재구성할 수 있게 하여 시간적 동역학을 효과적으로 모델링하고 있음을 시사한다.
• 운동 기반 분리의 인덕티브 바이어스 덕분에, 특히 데이터가 부족한 조건에서 강력한 일반화 성능을 보였다.
• 프레임워크는 코드와 모델을 포함해 공개되어 있으며, https://imatge-upc.github.io/unsupervised-2017-cvprw/ 에서 이용 가능하다.