[논문 리뷰] Learning to Extract Motion from Videos in Convolutional Neural Networks

Damien Teney, Martial Hebert|arXiv (Cornell University)|2016. 01. 27.

Advanced Vision and Imaging참고 문헌 24인용 수 27

한 줄 요약

이 논문은 신호 처리 원리를 활용하여 비디오 프레임에서 직접 밀도 있는 광학 흐름을 학습하는 컨볼루션 신경망(CNN)을 제안한다. 무게 공유를 통해 회전 불변성을 철저히 구현하여 파rameter 수를 줄이고, 최소한의 데이터로 엔드 투 엔드 학습을 가능하게 한다. 이 모델은 다중, 겹치는, 또는 투명한 운동을 포괄할 수 있는 분산된 운동 표현을 생성하며, 미들버리 기준에서 기존의 고전적 방법을 능가한다. 또한 비디오 이해 작업에 적용 가능한 학습 가능한 플러그인 빌딩 블록을 제공한다.

ABSTRACT

This paper shows how to extract dense optical flow from videos with a convolutional neural network (CNN). The proposed model constitutes a potential building block for deeper architectures to allow using motion without resorting to an external algorithm, \eg for recognition in videos. We derive our network architecture from signal processing principles to provide desired invariances to image contrast, phase and texture. We constrain weights within the network to enforce strict rotation invariance and substantially reduce the number of parameters to learn. We demonstrate end-to-end training on only 8 sequences of the Middlebury dataset, orders of magnitude less than competing CNN-based motion estimation methods, and obtain comparable performance to classical methods on the Middlebury benchmark. Importantly, our method outputs a distributed representation of motion that allows representing multiple, transparent motions, and dynamic textures. Our contributions on network design and rotation invariance offer insights nonspecific to motion estimation.

연구 동기 및 목표

• 원시 비디오 픽셀에서 직접 밀도 있는 광학 흐름을 학습하는 CNN을 개발함으로써, 외부 광학 흐름 알고리즘에 의존하지 않도록 하는 것.
• 소수의 훈련 시퀀스만으로도 딥 네트워크에서 운동 추정을 엔드 투 엔드로 학습할 수 있도록 하는 것.
• 신호 처리 원리에 기반한 네트워크 아키텍처를 설계하여 이미지 대비, 단계, 텍스처에 대해 불변성을 확보하는 것.
• 복잡한 현상(예: 동적 텍스처와 투명한 운동)을 모델링할 수 있는 분산된 운동 표현을 생성하는 것.
• 회전 불변 무게 공유가 파rameter 수를 줄이고 소규모 데이터셋에서 일반화 성능을 향상시키는 데 기여하는지 확인하는 것.

제안 방법

• 네트워크는 주로 시공간 주파수 성분 분석을 통해 신호 처리 원리에서 유도되며, 운동 신호를 추출할 수 있도록 설계된 컨볼루션, 풀링, 비선형성 요소를 포함한다.
• 회전 불변성을 확보하기 위해 필터 무게를 다양한 회전 방향에 걸쳐 공유하도록 제약을 둔다. 이는 학습 가능한 파rameter 수를 크게 줄인다.
• 첫 번째 레이어는 이미지 내 이동 패턴을 탐지하는 방향성 필터를 사용하며, 이는 운동 에너지 계산의 기초가 된다.
• 네트워크의 두 번째 마지막 레이어는 각 공간 위치에서 다수의 방향과 속도에 대한 운동 증거를 코딩하는 고차원 특징 맵을 출력한다.
• 최종 디코딩 레이어는 분산 표현을 표준 광학 흐름 맵으로 변환하여 표준 벤치마크에서의 훈련 및 평가를 가능하게 한다.
• 모델은 미들버리 데이터셋의 진짜 흐름을 사용해 엔드 투 엔드로 학습되며, 내재된 회전 불변성 덕분에 데이터 증강이 필요 없다.

실험 결과

연구 질문

• RQ1 소수의 훈련 시퀀스만으로도 원시 비디오 프레임에서 직접 밀도 있는 광학 흐름을 추출할 수 있는 CNN을 엔드 투 엔드로 학습시킬 수 있는가?
• RQ2 신호 처리 원리를 어떻게 활용해 이미지 대비, 단계, 텍스처에 대해 불변이면서도 운동에 민감한 CNN을 설계할 수 있는가?
• RQ3 무게 공유가 운동 추정을 위한 CNN에서 엄격한 회전 불변성을 얼마나 잘 구현할 수 있으며, 이는 일반화 성능과 파rameter 효율성에 어떤 영향을 미치는가?
• RQ4 CNN 내 분산된 운동 표현이 기존 광학 흐름이 포착하지 못하는 복잡한 운동 현상(예: 동적 텍스처, 투명한 운동)을 포괄할 수 있는가?
• RQ5 이 엔드 투 엔드로 학습된 운동 추출기의 성능은 미들버리 및 심틀과 같은 표준 벤치마크에서 고전적 광학 흐름 알고리즘과 비교해 어떻게 되는가?

주요 결과

• 제안된 CNN는 오직 8개의 시퀀스로만 훈련되었음에도 불구하고, 미들버리 벤치마크에서 고전적 광학 흐름 방법과 유사한 성능을 달성한다.
• 회전 불변 무게 공유의 사용은 파rameter 수를 줄이고, 데이터 증강 없이도 소규모 데이터셋에서 효과적인 학습을 가능하게 한다.
• 두 번째 마지막 레이어의 분산된 운동 표현은 한 픽셀에서 다중 운동 성분을 성공적으로 포착하여 투명하거나 겹치는 운동을 모델링할 수 있다.
• 동적 텍스처(예: 물결, 수증기)가 있는 장면에서는 전통적 방법이 밝기 일관성 위반으로 실패하는 상황에서도 네트워크가 더 안정적이고 일관된 운동 추정을 제공한다.
• 투명한 운동 시나리오에서 표준 광학 흐름보다 모델이 뛰어난 성능을 보였으며, 단일 위치에서 다중 모드 분포를 보여주는 운동 증거의 반경 시각화를 통해 이를 확인했다.
• 심틀 벤치마크에서는 최신 기술 대비 성능이 열등한 것으로 확인되었으며, 이는 복잡한 장면에서 고정확도의 흐름 추정을 위해 여전히 장면 수준의 추론과 장거리 매칭이 필요하다는 것을 시사한다.