[논문 리뷰] Deformable ConvNets v2: More Deformable, Better Results

Xizhou Zhu, Han Hu외 2명|arXiv (Cornell University)|2018. 11. 27.

Advanced Neural Network Applications참고 문헌 34인용 수 181

한 줄 요약

이 논문은 Deformable ConvNets v2 (DCNv2)를 제시하며, 더 많은 변형 가능한 계층과 조절 메커니즘, 그리고 학습 목표를 모방하는 피처를 통해 변형 가능한 샘플링을 보강하고, 객체 탐지 및 인스턴스 세분화에 대해 COCO에서 상당한 이득을 달성한다.

ABSTRACT

The superior performance of Deformable Convolutional Networks arises from its ability to adapt to the geometric variations of objects. Through an examination of its adaptive behavior, we observe that while the spatial support for its neural features conforms more closely than regular ConvNets to object structure, this support may nevertheless extend well beyond the region of interest, causing features to be influenced by irrelevant image content. To address this problem, we present a reformulation of Deformable ConvNets that improves its ability to focus on pertinent image regions, through increased modeling power and stronger training. The modeling power is enhanced through a more comprehensive integration of deformable convolution within the network, and by introducing a modulation mechanism that expands the scope of deformation modeling. To effectively harness this enriched modeling capability, we guide network training via a proposed feature mimicking scheme that helps the network to learn features that reflect the object focus and classification power of R-CNN features. With the proposed contributions, this new version of Deformable ConvNets yields significant performance gains over the original model and produces leading results on the COCO benchmark for object detection and instance segmentation.

연구 동기 및 목표

• 원래의 DCNv1을 넘어 객체의 기하학적 변형에 대한 개선된 모델링을 촉진한다.
• 변형 가능한 계층을 쌓고 모듈레이션 메커니즘을 도입하여 모델링 능력을 향상시킨다.
• R-CNN 피처에서 영감을 받은 교사-가이드 피처 모방 손실을 통해 향상된 모델의 효과적인 학습을 안내한다.
• COCO에서 Faster R-CNN 및 Mask R-CNN 내에서 백본마다 DCNv2의 호환성 및 성능 향상을 입증한다.

제안 방법

• ResNet-50의 conv3–conv5 스테이지 전반에 걸쳐 더 많은 3x3 컨볼루션 층을 변형 가능한 대응층으로 대체하여 변형 가능한 모델링을 심화한다.
• 학습 가능한 진폭을 각 샘플링 위치에 할당하는 모듈레이션 메커니즘을 도입하여 샘플의 선택적 강조 또는 억제를 가능하게 한다.
• RoI 내의 맥락적 집계를 더 잘 제어하기 위해 변형 가능한 RoI 풀링에 모듈레이션을 확장한다.
• 잘린 콘텐츠에서 R-CNN이 학습한 집중 표현에 각 RoI 특징을 가깝게 만들기 위해 R-CNN 피처 모방 손실을 도입한다.
• Faster R-CNN 및 Mask R-CNN과 같은 기존 아키텍처와의 호환성을 유지하기 위해 경량의 변형 가능한 모듈을 유지한다.

실험 결과

연구 질문

• RQ1 변형 가능한 샘플링을 확장하고 모듈레이션하면 배경 콘텐츠로 인한 과도한 간섭 없이 객체 기하학에 대한 민감도를 개선할 수 있는가?
• RQ2 여러 ResNet 스테이지에 걸쳐 변형 가능한 계층을 쌓는 것이 DCNv1과 비교하여 COCO에서 일관된 이득을 가져오는가?
• RQ3 피처 모방 목표가 DCNv2가 R-CNN 피처와 유사한 더 객체 중심의 표현을 학습하는 데 도움이 되는가?
• RQ4 COCO에서 탐지 및 분할을 위한 일반적인 백본(예: ResNet-50/101, ResNeXt-101)에서 DCNv2의 성능은 어떠한가?

주요 결과

• 강화된 변형 모델링은 Faster R-CNN 및 Mask R-CNN 모두에서 COCO에 대해 DCNv1보다 상당한 정확도 향상을 가져왔다.
• 모듈레이션된 변형 가능한 구성 요소가 기본 변형 가능한 모듈에 비해 추가적인 향상을 제공하여 경계 상자 및 마스크 성능을 향상시킨다.
• R-CNN 피처 모방은 RoI당 특징을 더욱 향상시키며, 특히 양의 RoI에 대해 객체 전경에 초점을 맞추도록 돕는다.
• conv3–conv5 스테이지에 걸쳐 모듈레이션과 변조된 RoI 풀링을 적용하면 백본 전반에 걸쳐 원래의 변형 가능한 구성 대비 주목할만한 성능 향상을 얻을 수 있다.
• 추가 파라미터가 가볍고 증류(distillation) 유사 신호를 통해 추론 비용을 증가시키지 않으면서 학습 이점이 달성된다.