[논문 리뷰] Dynamic Filter Networks

Bert De Brabandere, Xu Jia외 2명|arXiv (Cornell University)|2016. 05. 31.

Advanced Vision and Imaging참고 문헌 16인용 수 476

한 줄 요약

Dynamic Filter Networks는 입력 데이터에 조건화된 필터를 생성하여 샘플별 및 위치별 필터링을 가능하게 하며, 비디오/스테레오 예측과 같은 작업에서 컴팩트한 모델로 최첨단 성능을 달성합니다.

ABSTRACT

In a traditional convolutional layer, the learned filters stay fixed after training. In contrast, we introduce a new framework, the Dynamic Filter Network, where filters are generated dynamically conditioned on an input. We show that this architecture is a powerful one, with increased flexibility thanks to its adaptive nature, yet without an excessive increase in the number of model parameters. A wide variety of filtering operations can be learned this way, including local spatial transformations, but also others like selective (de)blurring or adaptive feature extraction. Moreover, multiple such layers can be combined, e.g. in a recurrent architecture. We demonstrate the effectiveness of the dynamic filter network on the tasks of video and stereo prediction, and reach state-of-the-art performance on the moving MNIST dataset with a much smaller model. By visualizing the learned filters, we illustrate that the network has picked up flow information by only looking at unlabelled training data. This suggests that the network can be used to pretrain networks for various supervised tasks in an unsupervised way, like optical flow and depth estimation.

연구 동기 및 목표

• 다양한 모션 패턴과 변형을 다루기 위해 샘플별 변환 학습 동기를 부여합니다.
• 샘플별 필터를 적용하기 위해 필터 생성 네트워크와 함께 동적 필터링 계층을 제안합니다.
• 유연하고 미분 가능한 연산으로서의 동적 컨볼루션과 동적 로컬 필터링을 탐구합니다.
• 비디오 예측과 스테레오 예측에서의 효과를 입증합니다.
• 플로우/ 깊이 관련 표현의 무지도학습 프리트레이닝 가능성을 보여줍니다.

제안 방법

• 필터 생성 네트워크와 동적 필터링 계층의 두 부분으로 구성된 동적 필터 모듈을 도입합니다.
• Dynamic convolution: 생성된 필터를 입력에 균일하게 적용합니다.
• Dynamic local filtering: 위치별로 생성된 필터를 각 위치에 적용합니다.
• 필터를 제약 없이 또는 소프트맥스 등을 통해 부드럽게 제약하여 희소성/노이즈 제거에 유리한 필터를 권장합니다.
• 선택적으로 동적 퍼픽스 바이어스 추가.
• 역전파로 끝에서 끝으로 학습; 학습된 필터를 시각화하여 모션/플로우를 해석합니다.

실험 결과

연구 질문

• RQ1 입력에 조건화된 동적으로 생성된 필터가 고정 컨볼루션 필터를 넘어 유연성을 향상시킬 수 있는가?
• RQ2 Dynamic convolution 및 dynamic local filtering이 비디오 예측 및 스테레오 뷰 합성에서 어떻게 성능을 발휘하는가?
• RQ3 무지도학습으로 학습된 동적 필터가 이후 작업의 프리트레이닝에 모션/플로우 정보를 인코딩하는가?
• RQ4 동적 대 전통적 필터링 아키텍처의 매개변수 효율성 이점은 무엇인가?

주요 결과

• Moving MNIST에서 DFN은 FC-LSTM(142,667,776) 및 Conv-LSTM(7,585,296)보다 훨씬 적은 매개변수(637,361)로 최첨단 성능을 달성합니다.
• 네트워크가 학습한 동적 필터는 모션 패턴을 포착하여 정확한 프레임 예측과 움직이는 숫자의 분리를 가능하게 합니다.
• 동적 로컬 필터링은 공간 위치별 변환을 가능하게 하여 지역적 변형 및 광도 변화를 모델링합니다.
• 동적 필터는 무라벨 데이터에서 지도 없이 학습된 흐름과 같은 맵으로 시각화될 수 있습니다.
• 고속도로 주행 데이터에 적용 시 모델은 차선, 다리 등 구조적 특징을 예측하고 일반화 가능성을 보입니다.
• 스테레오 예측에서 수평 필터는 깊이 흐름/시차를 가능하게 하여 깊이 추정의 무지도 프리트레이닝 가능성을 보여줍니다.