[논문 리뷰] Deformable Kernels: Adapting Effective Receptive Fields for Object Deformation

Hang Gao, Xizhou Zhu외 2명|arXiv (Cornell University)|2019. 10. 07.

Advanced Neural Network Applications참고 문헌 37인용 수 35

한 줄 요약

드롭인 컨볼루션 연산자인 Deformable Kernels(DKs)이 커널 공간에서 샘플링해 유효 수용영역(ERF)을 직접 적응시켜 데이터 샘플링 그리드를 변경하지 않으면서 객체 변형을 더 잘 처리한다는 것을 소개한다.

ABSTRACT

Convolutional networks are not aware of an object's geometric variations, which leads to inefficient utilization of model and data capacity. To overcome this issue, recent works on deformation modeling seek to spatially reconfigure the data towards a common arrangement such that semantic recognition suffers less from deformation. This is typically done by augmenting static operators with learned free-form sampling grids in the image space, dynamically tuned to the data and task for adapting the receptive field. Yet adapting the receptive field does not quite reach the actual goal -- what really matters to the network is the "effective" receptive field (ERF), which reflects how much each pixel contributes. It is thus natural to design other approaches to adapt the ERF directly during runtime. In this work, we instantiate one possible solution as Deformable Kernels (DKs), a family of novel and generic convolutional operators for handling object deformations by directly adapting the ERF while leaving the receptive field untouched. At the heart of our method is the ability to resample the original kernel space towards recovering the deformation of objects. This approach is justified with theoretical insights that the ERF is strictly determined by data sampling locations and kernel values. We implement DKs as generic drop-in replacements of rigid kernels and conduct a series of empirical studies whose results conform with our theories. Over several tasks and standard base models, our approach compares favorably against prior works that adapt during runtime. In addition, further experiments suggest a working mechanism orthogonal and complementary to previous works.

연구 동기 및 목표

• 네트워크가 이론적 수용영역이 아닌 ERF에 초점을 맞춰 객체 변형에 더 잘 대응하도록 개선 필요성을 제시한다.
• 추론 중 ERF를 적응시키기 위해 커널 공간을 재샘플링하는 Deformable Kernels(DKs)을 도입한다.
• 두 가지 DK 변형(전역 및 지역)을 제공하고 이들의 효과와 기존 방법과의 호환성을 분석한다.
• DKs가 이미지 분류 및 객체 탐지 작업에서 즉시 대체 가능하다는 것을 시연한다.

제안 방법

• ERF를 정의하고 데이터 샘플링 위치와 커널 값에 대한 의존성을 분석한다.
• 학습된 오프셋을 통해 원래 커널 공간을 재샘플링하는 Deformable Kernels(DKs)를 수식화한다: O_j = sum_k I_{j+k} W_{k+Δk}.
• DK 하에서의 ERF는 ERF_DK(i;j) = sum_k∈K R^{(n)}(i; j+k, k+Δk)로 주어진다는 것을 보인다.
• 두 가지 DK 변형을 구현한다: 전역 DK(이미지 당 하나의 오프셋 격자)와 지역 DK(출력 위치별 오프셋), 초소수점 커널 샘플링을 위한 양선형 보간을 사용한다.
• Deformable Convolutions 및 Dynamic/Conditional Convolutions과의 연결성과 호환성에 대해 논의한다.
• ResNet-50-DW 및 MobileNet-V2 백본으로 ImageNet(분류)과 COCO(객체 탐지)에서 DK를 평가한다.

실험 결과

연구 질문

• RQ1 학습된 커널 공간 샘플링을 통한 ERF의 직접적 적응이 데이터 샘플링 그리드를 바꾸지 않으면서 객체 변형에 대한 강건성을 개선할 수 있는가?
• RQ2 전역 DK와 지역 DK 변형은 정확도와 효율성 측면에서 백본 및 작업 간에 어떻게 다른가?
• RQ3 DK가 Deformable Convolutions, Conditional Convolutions과 같은 기존 변형 추론 방법과 상호 보완적으로 작용하는가?
• RQ4 성능에 미치는 커널 범위 크기의 영향은 어떠한가?
• RQ5 DK가 의미보다는 객체 스케일에 맞춘 ERF를 학습하는가, 그리고 이는 다른 방법과의 보완적 작용에 어떤 영향을 미치는가?

주요 결과

• DK는 강체 커널에 비해 성능을 향상시키며, 커널 범위 크기에 의해 이득이 좌우된다. 예를 들어 ResNet-50-DW에서 4x4 범위의 지역 DK가 DK가 없을 때의 76.3% 대비 78.1%의 탑-1 정확도를 달성한다.
• 4x4를 넘는 범위를 늘리면 수익이 점차 감소하며, 제시된 차례들에서 ImageNet의 최대 이득은 약 +1.4 탑-1 포인트 수준으로 관측된다.
• 객체 탐지에서 지역 DK는 베이스라인 대비 일관된 mAP 증가를 제공하며, 예를 들어 ResNet-50-DW에서 지역 DK가 37.8 mAP(기준 36.6)로 도달하고 전역 DK와의 결합 시 38.4 mAP를 보인다.
• DK는 객체 영역에 더 국한되고 스케일에 더 민감한 ERF를 학습하는 경향이 있어 Conditional Convolutions처럼 의미 중심의 방법과는 보완적 동적 특성을 시사한다.
• DK를 Deformable Convolutions 및 Conditional Convolutions와 결합하면 보강 효과가 나타나, 서로 직교적이고 호환 가능한 작동 메커니즘을 시사한다.
• 작업 전반에 걸쳐 DK는 강력한 베이스라인에 비해 경쟁력 있거나 우수한 성능을 제공하며, 특정 구성을 통해 파라미터 수가 더 적은 경우도 있으며(prior 방법과의 융합 시 강한 호환성) 확인된다.