[논문 리뷰] Deformable Convolutional Networks

Jifeng Dai, Haozhi Qi외 5명|arXiv (Cornell University)|2017. 03. 17.

Advanced Neural Network Applications참고 문헌 41인용 수 434

한 줄 요약

변형 가능한 컨볼루션과 변형 가능한 RoI 풀링을 도입하여 CNN에서 조밀하고 입력 의존적인 공간 변환을 가능하게 하며, 무거운 오버헤드 없이 탐지 및 분할 작업에서 성능을 개선합니다.

ABSTRACT

Convolutional neural networks (CNNs) are inherently limited to model geometric transformations due to the fixed geometric structures in its building modules. In this work, we introduce two new modules to enhance the transformation modeling capacity of CNNs, namely, deformable convolution and deformable RoI pooling. Both are based on the idea of augmenting the spatial sampling locations in the modules with additional offsets and learning the offsets from target tasks, without additional supervision. The new modules can readily replace their plain counterparts in existing CNNs and can be easily trained end-to-end by standard back-propagation, giving rise to deformable convolutional networks. Extensive experiments validate the effectiveness of our approach on sophisticated vision tasks of object detection and semantic segmentation. The code would be released.

연구 동기 및 목표

• CNN의 고정 기하학적 구조가 기하학적 변환의 모델링을 얼마나 제한하는지에 대한 동기를 부여한다.
• 데이터로부터 조밀한 샘플링 오프셋을 학습하기 위한 변형 가능한 컨볼루션을 제안한다.
• 객체의 형태에 맞게 풀링 영역을 적응시키기 위한 변형 가능한 RoI 풀링을 제안한다.
• 변형 가능한 모듈이 일반적인 모듈을 대체하고 엔드투엔드로 학습될 수 있음을 보인다.

제안 방법

• 변형 가능한 컨볼루션은 규칙적인 샘폴링 격자에 위치당 학습 가능한 2D 오프셋을 추가한다.
• 오프셋은 병렬 합성곱층에 의해 생성되고, 이차 보간법을 통한 역전파를 통해 엔드투엔드로 학습된다.
• 변형 가능한 RoI 풀링은 RoI 풀링 빈에 학습 가능한 오프셋을 추가하고 분수 위치에 대해 이차 보간법을 사용한다.
• 변형 가능한 PS RoI 풀링은 클래스별 스코어 맵과 완전히 합성곱화된 오프셋 학습으로 변형 가능한 RoI 풀링을 확장한다.
• 실험은 변형 가능한 모듈을 ResNet-101 및 Aligned-Inception-ResNet 백본과 함께 분할 및 탐지 파이프라인에 걸쳐 통합한다.

실험 결과

연구 질문

• RQ1 학습 가능한 공간 오프셋이 CNN이 수동으로 설계된 모듈 없이도 크거나 비강체적(non-rigid) 기하학적 변환을 모델링하게 할 수 있는가?
• RQ2 표준 벤치마크 전반에서 변형 가능한 컨볼루션과 변형 가능한 RoI 풀링이 분할 및 객체 탐지 작업의 성능을 향상시키는가?
• RQ3 밀집 예측 설정에서 이차 보간법을 이용한 엔드투엔드 학습이 의미 있는 오프셋을 학습하기에 충분한가?

주요 결과

• 변형 가능한 모듈은 물체의 크기와 모양에 상관관계가 있는 적응형 수용 영역을 가능하게 한다.
• 변형 가능한 RoI 풀링의 추가는 비강체 객체에 특히 로컬라이제이션을 향상시킨다.
• 변형 가능한 컨볼루션과 변형 가능한 RoI 풀링의 공동 사용은 분할 및 탐지 벤치마크에서 기본 CNN에 비해 상당한 성능 향상을 낳는다.
• 오프셋은 엔드투엔드로 학습되며 일반적으로 작고, 0으로 초기화되어 학습 시작 시 최소한의 방해를 보장한다.
• 변형 가능한 ConvNets는 추가 파라미터와 계산이 다소 증가하지만 상당한 정확도 향상을 제공한다.