[논문 리뷰] CARAFE: Content-Aware ReAssembly of FEatures

Jiaqi Wang, Kai Chen외 4명|arXiv (Cornell University)|2019. 05. 06.

Advanced Neural Network Applications참고 문헌 47인용 수 41

한 줄 요약

CARAFE는 대규모 수용 영역을 가진 Dense 예측 작업을 개선하기 위해 콘텐츠 인식, 영역 기반 커널 재배치를 사용하는 보편적이고 가벼운 업샘플링 연산자이다.

ABSTRACT

Feature upsampling is a key operation in a number of modern convolutional network architectures, e.g. feature pyramids. Its design is critical for dense prediction tasks such as object detection and semantic/instance segmentation. In this work, we propose Content-Aware ReAssembly of FEatures (CARAFE), a universal, lightweight and highly effective operator to fulfill this goal. CARAFE has several appealing properties: (1) Large field of view. Unlike previous works (e.g. bilinear interpolation) that only exploit sub-pixel neighborhood, CARAFE can aggregate contextual information within a large receptive field. (2) Content-aware handling. Instead of using a fixed kernel for all samples (e.g. deconvolution), CARAFE enables instance-specific content-aware handling, which generates adaptive kernels on-the-fly. (3) Lightweight and fast to compute. CARAFE introduces little computational overhead and can be readily integrated into modern network architectures. We conduct comprehensive evaluations on standard benchmarks in object detection, instance/semantic segmentation and inpainting. CARAFE shows consistent and substantial gains across all the tasks (1.2%, 1.3%, 1.8%, 1.1db respectively) with negligible computational overhead. It has great potential to serve as a strong building block for future research. It has great potential to serve as a strong building block for future research. Code and models are available at https://github.com/open-mmlab/mmdetection.

연구 동기 및 목표

• Dense 예측 작업을 위해 대규모 컨텍스트 정보를 집계할 수 있는 특징 업샘플링 연산자를 동기부여하고 설계합니다.
• 고정된 글로벌 커널 대신 업샘플링 도중 인스턴스별(콘텐츠 인식) 처리를 가능하게 합니다.
• 대용량 수용 필드를 제공하면서도 효율적이고 가벼운 계산을 유지합니다.
• 객체 탐지, 인스턴스/세그먼테이션, 이미지 인페인팅에 걸쳐 보편적인 효과를 입증합니다.

제안 방법

• 로컬 콘텐츠를 이용한 경량 커널 예측 모듈에서 위치별 재배치 커널을 예측합니다.
• 예측된 커널을 사용하여 미리 정의된 영역 내에서 가중합으로 특징을 재배치합니다.
• 재배치를 로컬의 합-0-1 가중치 체계가 되도록 소프트맥스(sofmax)로 커널을 정규화합니다.
• 표준 업샘플링 연산자(가장 가까운 이웃/양선형) 또는 역전파를 대체하여 기존 아키텍처에 CARAFE를 통합합니다.
• 성과와 효율의 균형을 맞추기 위한 인코더/커널 크기, 압축 채널 수 등의 하이퍼파라미터를 분석합니다.

실험 결과

연구 질문

• RQ1 콘텐츠 인식 영역 기반 업샘플링이 고정 업샘플링 방식보다 Dense 예측 작업의 성능을 향상시킬 수 있습니까?
• RQ2 커널 크기, 인코더 크기, 채널 압축이 CARAFE의 정확도와 효율성에 어떤 영향을 미칩니까?
• RQ3 CARAFE가 객체 탐지, 인스턴스 분할, 의미론적 분할 및 이미지 인페인팅 전반에 걸쳐 일관되게 이득을 제공합니까?

주요 결과

• CARAFE는 작업 전반에 걸쳐 일관된 개선을 제공합니다: Faster R-CNN에서 +1.2% AP, Mask R-CNN에서 +1.3% AP, ADE20k에서 +1.8% mIoU, Places 인페인팅에서 +1.1 dB PSNR.
• 콘텐츠 인식적이고 인스턴스별 커널로 대규모 수용 필드 집계를 제공합니다.
• 상대적으로 압축된 커널 대비 역전파에 비해 계산 오버헤드가 작고, 256 채널의 HxW 피처 맵을 업샘플링할 때 CARAFE의 FLOPs가 더 낮습니다(2x).
• FPN의 표준 업샘플링 및 마스크 헤드에서 CARAFE로 대체하면 여러 애브레이션에서 최적 AP를 달성합니다.
• 압축 채널(C_m=64)을 사용할 때도 성능이 유지되며 효율 이득이 있으며; k_encoder≈k_up−2가 좋은 기본값이며 소프트맥스 정규화가 효과적입니다.