[논문 리뷰] Dynamic Region-Aware Convolution

Jin Chen, Xijun Wang외 3명|arXiv (Cornell University)|2020. 03. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 37인용 수 9

한 줄 요약

이 논문은 공간적으로 공유되는 필터를 의미적 영역에 동적으로 할당하는 새로운 컨볼루션 연산인 동적 영역 인식 컨볼루션(DRConv)을 제안한다. 이는 학습 가능한 가이드드 마스크를 통해 이루어지며, 변환 불변성과 계산 효율성을 유지하면서도 향상된 특징 표현을 가능하게 한다. DRConv는 46M FLOPs에서 ImageNet에서 67.1%의 top-1 정확도를 달성하여 표준 컨볼루션 대비 6.3%의 상대적 향상을 보였다.

ABSTRACT

We propose a new convolution called Dynamic Region-Aware Convolution (DRConv), which can automatically assign multiple filters to corresponding spatial regions where features have similar representation. In this way, DRConv outperforms standard convolution in modeling semantic variations. Standard convolutional layer can increase the number of filers to extract more visual elements but results in high computational cost. More gracefully, our DRConv transfers the increasing channel-wise filters to spatial dimension with learnable instructor, which not only improve representation ability of convolution, but also maintains computational cost and the translation-invariance as standard convolution dose. DRConv is an effective and elegant method for handling complex and variable spatial information distribution. It can substitute standard convolution in any existing networks for its plug-and-play property, especially to power convolution layers in efficient networks. We evaluate DRConv on a wide range of models (MobileNet series, ShuffleNetV2, etc.) and tasks (Classification, Face Recognition, Detection and Segmentation). On ImageNet classification, DRConv-based ShuffleNetV2-0.5x achieves state-of-the-art performance of 67.1% at 46M multiply-adds level with 6.3% relative improvement.

연구 동기 및 목표

• 표준 컨볼루션의 공간적 의미적 변동을 모델링하는 데 있어 계산 비용 증가 없이 해결하고자 한다.
• 각 공간 위치에 고유한 필터를 할당하는 국소 컨볼루션 방법에서 발생하는 파rameter 폭증과 변환 불변성 상실 문제를 해결하고자 한다.
• 학습 가능한 가이드드 마스크를 사용해 샘플 별로 동적으로 필터를 할당함으로써 더 나은 표현을 가능하게 하고자 한다.
• 기존 네트워크의 아키텍처를 대대적으로 수정하지 않고도 기능을 향상시킬 수 있는 플러그 앤 플레이 모듈을 설계하고자 한다.
• 다양한 비전 작업에서 성능을 크게 향상시키면서도 계산 효율성을 유지하고자 한다.

제안 방법

• DRConv는 입력에서 가이드드 특징 맵을 생성하기 위해 표준 컨볼루션을 사용하며, 이를 바탕으로 공간 차원을 m개의 영역으로 분할하는 학습 가능한 가이드드 마스크를 예측한다.
• 가이드드 마스크는 영역 공유 패턴을 결정하며, 각 영역은 단일 필터를 공유하고, 필터 생성 모듈을 통해 영역 별로 동적으로 필터를 생성한다.
• 각 영역는 고유하고 샘플 별로 특화된 필터를 적용하여 국소적 특징 모델링을 가능하게 하면서도 변환 불변성을 유지한다.
• 필터 생성기는 경량이며 학습 가능한 모듈로, 공간 크기와 무관하게 파라미터가 유지되어 파라미터 증가를 최소화한다.
• 작업 손실 기반으로 가이드드 마스크를 최적화하기 위해 특수 설계된 역전파 알고리즘이 적용되어 엔드 투 엔드 학습이 가능하다.
• 이 방법은 플러그 앤 플레이이며, MobileNet 및 ShuffleNetV2와 같은 효율적인 아키텍처를 포함한 모든 네트워크에서 표준 컨볼루션을 대체할 수 있다.

실험 결과

연구 질문

• RQ1 동적이고 영역 인식 컨볼루션은 계산 비용 증가 없이 컨볼루션 네트워크의 특징 표현을 향상시킬 수 있는가?
• RQ2 학습 가능한 가이드드 마스크는 필터의 공간 분포와 다양한 작업에서의 성능에 어떤 영향을 미치는가?
• RQ3 표준 컨볼루션 대비 DRConv는 소형 및 효율적인 모델에서 얼마나 성능 향상을 이룰 수 있는가?
• RQ4 국소 컨볼루션 방법과 달리, DRConv는 공간적으로 적응형 필터링을 가능하게 하면서도 변환 불변성을 유지하는가?
• RQ5 성능 및 효율성 측면에서 가이드드 마스크의 최적의 영역 수는 얼마인가?

주요 결과

• DRConv 기반 ShuffleNetV2-0.5×는 46M FLOPs에서 ImageNet에서 67.1%의 top-1 정확도를 달성하여 표준 컨볼루션 대비 6.3%의 상대적 향상을 보였다.
• COCO 검출에서 FPN의 두 레이어를 DRConv(16개 영역)로 교체하면 AP가 1.2% 향상되었고, DetNAS-300M에서 8개 영역로 교체하면 AP가 1.8% 향상되었다.
• COCO 인스턴스 세그멘테이션에서 FPN의 두 레이어에 DRConv를 적용하면 16개 영역일 때 AP가 1.1% 향상되었다.
• MobileNetV2-0.25× 및 ShuffleNetV2-0.5×와 같은 소형 모델은 DRConv에서 가장 큰 상대적 성능 향상을 보였으며, 대형 모델보다 더 큰 성능 향상을 기록했다.
• 시각화 결과 가이드드 마스크가 의미적으로 일관된 영역을 학습하는 것으로 확인되었으며, 깊은 층에서는 연결된 영역이 형성되고 浅층에서는 분리된, 맥락에 민감한 영역이 나타났다.
• 절단 분석 결과 영역 수를 늘일수록 성능 향상이 이루어지며, 더 세밀한 공간 특화가 특징 학습을 향상시킨다는 것을 시사한다.