[논문 리뷰] Learning to encode motion using spatio-temporal synchrony

Kishore Konda, Roland Memisevic외 1명|arXiv (Cornell University)|2013. 06. 13.

Advanced Vision and Imaging참고 문헌 30인용 수 10

한 줄 요약

이 논문은 단일층 오토인코더에서 승수 게이팅을 사용하여 이미지 프레임과 학습된 필터 간의 시공간적 동기화를 탐지하는 방식으로 비디오에서 운동 특징을 학습하는 새로운 방법을 제안한다. 수축성 정규화를 적용한 동기화 탐지로 운동 추정을 재구성함으로써, 기존의 딥러닝 방법에 비해 훨씬 짧은 시간에 CPU에서 경쟁적인 운동 추정 성능를 달성하며, 수작업으로 만든 시공간적 특징보다 뛰어난 성능을 보인다.

ABSTRACT

We consider the task of learning to extract motion from videos. To this end, we show that the detection of spatial transformations can be viewed as the detection of synchrony between the image sequence and a sequence of features undergoing the motion we wish to detect. We show that learning about synchrony is possible using very fast, local learning rules, by introducing multiplicative "gating" interactions between hidden units across frames. This makes it possible to achieve competitive performance in a wide variety of motion estimation tasks, using a small fraction of the time required to learn features, and to outperform hand-crafted spatio-temporal features by a large margin. We also show how learning about synchrony can be viewed as performing greedy parameter estimation in the well-known motion energy model.

연구 동기 및 목표

• 표준 딥러닝 모델인 오토인코더와 K-means가 의미 있는 필터를 생성하지 못하는 비디오 시퀀스에서 효과적인 운동 특징을 학습하는 데 도전하는 것.
• 에너지 모델과 ICA는 비디오에서 잘 작동하는 반면 다른 모델은 그렇지 않은 이유를 밝혀내기 위해 운동 인코딩에서 동기화 탐지의 역할을 규명하는 것.
• 운동 감지와 불변성 간의 분리가 가능한 새로운 학습 프레임워크를 제안하여 더 빠르고 효율적인 특징 학습을 가능하게 하는 것.
• 운동 추정을 동기화 탐지의 관점에서 볼 때 운동 에너지 모델의 탐욕적 매개변수 추정으로 재해석할 수 있음을 보여주는 것.

제안 방법

• 모델은 단일층 동기화 오토인코더(SAE)를 사용하여 두 프레임 간의 필터 응답의 원소별 곱으로 운동 표현을 계산한다: $ \vec{h} = \sigma(\vec{f}^x \odot \vec{f}^y) $, 여기서 $ \vec{f}^x = \mathbf{W}^x \vec{x} $, $ \vec{f}^y = \mathbf{W}^y \vec{y} $.
• 운동은 $ \vec{w}_2 = P\vec{w}_1 $ 를 만족하는 필터 $ \vec{w}_1, \vec{w}_2 $ 를 식별함으로써 탐지되며, 여기서 $ P $ 는 프레임 간의 직교 변환(예: 이동)을 나타내어 시공간적 동기화를 탐지할 수 있다.
• 모델은 복원 손실을 최소화하여 훈련되며, $ \|\vec{x} - \hat{\vec{x}}\|^2 + \|\vec{y} - \hat{\vec{y}}\|^2 $ 를 최소화한다. 여기서 $ \hat{\vec{x}} = (\mathbf{W}^x)^T (\vec{h} \odot \vec{f}^y) $ 로, 게이팅된 은닉 상태를 사용해 입력을 재구성한다.
• 수축성 정규화는 은닉 표현의 자코비안의 프로베니우스 노름을 최소화함으로써 적용되며, $ \|J_e(\vec{x},\vec{y})\|^2_E $ 로 표현되며, 이는 강건하고 흐린 특징 학습을 촉진한다.
• 모델은 가중치 $ \mathbf{W}^x $ 와 $ \mathbf{W}^y $ 를 공유된 $ \mathbf{W} $ 로 묶어 비디오 시퀀스로 일반화하며, $ H_q = \sigma\left( \left( \sum_t \vec{w}_{qt}^T \vec{x}_t \right)^2 \right) $ 를 계산해 다중 프레임 간의 시간적 동기화를 포착한다.
• 콘텐츠에 의존하는 편향을 방지하기 위해 특징 학습 후 별도의 풀링 레이어를 적용함으로써 콘텐츠 무관 훈련의 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 왜 일부 모델들(에너지 모델과 ICA)은 비디오에서 운동 특징을 잘 학습하는 데 성공하는 반면, 표준 오토인코더와 K-means는 실패하는가?
• RQ2 운동 추정을 이미지 시퀀스와 학습된 필터 간의 시공간적 동기화 탐지로 재해석할 수 있는가?
• RQ3 운동 학습을 동기화 탐지로 재구성함으로써 종래의 엔드 투 엔드 딥러닝에 비해 더 빠르고 효율적인 특징 학습이 가능한가?
• RQ4 학습 프레임워크에서 콘텐츠 및 위상에 대한 불변성과 운동 감지를 어떻게 분리할 수 있는가?
• RQ5 수축성 정규화는 단일층 이차형 모델에 효과적으로 적용될 수 있는가? 이는 특징 품질 향상과 일반화 능력 향상에 기여하는가?

주요 결과

• 제안된 동기화 오토인코더(SAE)는 기존 딥러닝 방법에 비해 훨씬 짧은 시간에 CPU 기반 훈련으로도 표준 벤치마크에서 경쟁적인 운동 추정 성능를 달성한다.
• 수작업으로 만든 시공간적 특징에 비해 큰 격차로 슈퍼리어한 일반화 성능를 보이며, 다양한 운동 추정 작업에서 뛰어난 성능를 입증한다.
• 단일층 아키텍처 덕분에 SAE에 수축성 정규화가 성공적으로 적용되었으며, 깊은 이차형 모델에서는 불가능한 흐린 특징 학습이 가능해졌다.
• 콘텐츠 의존성에서 운동 표현을 분리함으로써 성능이 향상된다: 먼저 콘텐츠에 무관한 특징 학습을 수행한 후, 위상과 콘텐츠 편향을 제거하기 위해 풀링 레이어를 적용한다.
• 이 프레임워크는 고전적인 운동 에너지 모델을 동기화 탐지를 통한 탐욕적 매개변수 추정의 한 형태로 재해석함으로써, 운동 인코딩의 두 핵심 요소를 통합한다.
• 가중치를 묶고 시간 응답의 제곱을 계산함으로써 다중 프레임 시퀀스로 일반화되며, 효율성과 성능를 유지한다.