[논문 리뷰] Efficient Deformable ConvNets: Rethinking Dynamic and Sparse Operator for Vision Applications

Yuwen Xiong, Zhiqi Li외 11명|arXiv (Cornell University)|2024. 01. 11.

Advanced Neural Network Applications인용 수 9

한 줄 요약

DCNv4를 도입한 빠르고 유연한 변형 합성곱 연산자로, 소프트맥스 정규화를 제거하고 메모리 접근을 최적화하여 분류, 세그멘테이션, 생성 작업 전반에서 3x 전달 속도 및 강력한 성능을 달성한다.

ABSTRACT

We introduce Deformable Convolution v4 (DCNv4), a highly efficient and effective operator designed for a broad spectrum of vision applications. DCNv4 addresses the limitations of its predecessor, DCNv3, with two key enhancements: 1. removing softmax normalization in spatial aggregation to enhance its dynamic property and expressive power and 2. optimizing memory access to minimize redundant operations for speedup. These improvements result in a significantly faster convergence compared to DCNv3 and a substantial increase in processing speed, with DCNv4 achieving more than three times the forward speed. DCNv4 demonstrates exceptional performance across various tasks, including image classification, instance and semantic segmentation, and notably, image generation. When integrated into generative models like U-Net in the latent diffusion model, DCNv4 outperforms its baseline, underscoring its possibility to enhance generative models. In practical applications, replacing DCNv3 with DCNv4 in the InternImage model to create FlashInternImage results in up to 80% speed increase and further performance improvement without further modifications. The advancements in speed and efficiency of DCNv4, combined with its robust performance across diverse vision tasks, show its potential as a foundational building block for future vision models.

연구 동기 및 목표

• 실용적 속도와 확장성을 고려하여 변형 합성곱의 동기를 부여하고 개선한다.
• 현대 GPU에서 더 빠른 실행을 가능하게 하기 위해 DCN의 중복 메모리 접근을 제거한다.
• DCN 유사 연산에서 공간적 집계의 소프트맥스 정규화 필요성을 재평가한다.
• 생성 모델을 포함한 백본 및 작업 전반에서 범용적이고 드롭인 대체제로서 DCNv4를 시연한다.

제안 방법

• 공간적 집계 가중치에서 소프트맥스 정규화를 제거하여 무한대(dynamic) 가중치를 형성하도록 DCNv3를 재설계한다.
• GPU 메모리 접근 패턴을 분석하고 그룹 내 채널 간 오프셋/가중치를 공유하여 읽기를 줄이는 메모리 최적화 DCN 커널을 구현한다.
• 벡터화된 메모리 접근, 융합 이차선형 보간, 병합된 메모리 연산으로 MAC과 지연 시간을 최소화한다.
• InternImage에서 DCNv3를 DCNv4로 교체하여 FlashInternImage를 만들고 ImageNet, COCO, ADE20K, nuScenes에서 속도 향상 및 성능을 평가한다.
• 하이퍼파라미터 변경 없이 ConvNeXt와 ViT에서 어텐션과 깊이wise 합성곱을 DCNv4로 대체하여 범용 연산자로서의 DCNv4를 시연한다.

실험 결과

연구 질문

• RQ1 소프트맥스 정규화를 제거하는 것이 DCNv3에 비해 변형 합성곱의 표현력과 수렴 속도를 향상시키는가?
• RQ2 FLOPs를 바꾸지 않고 메모리 접근 최적화가 DCN의 속도를 얼마나 가속시킬 수 있으며, DCNv4는 조밀한 어텐션 및 표준 합성곱과 비교하여 어떤 성능을 보이는가?
• RQ3 DCNv4가 백본 아키텍처 및 생성 모델을 포함한 다운스트림 비전 작업 전반에서 범용적인 드롭인 대체제로 작용할 수 있는가?
• RQ4 FlashInternImage와 같은 고성능 모델에 DCNv4를 통합할 때 달성 가능한 속도 향상 및 성능 이득은 무엇인가?
• RQ5 DCNv4가 인스턴스/시맨틱 세분화 및 3D 검출과 같은 고해상도 인지 과제에서 효과적인가?

주요 결과

• DCNv4는 DCNv3에 비해 전달 속도가 3배 이상 향상되었다.
• 소프트맥스 정규화를 제거하면 무한대(dynamic) 가중치가 생기고 수렴성과 표현력이 향상된다.
• 메모리 접근 최적화로 중복 읽기를 줄이고 정확도를 유지하거나 향상시키면서 상당한 속도 향상을 가능하게 한다.
• InternImage에서 DCNv3를 DCNv4로 교체하면 Hyperparameter 변경 없이 FlashInternImage로 50-80%의 속도 향상과 향상된 성능을 얻을 수 있다.
• DCNv4 기반 FlashInternImage는 ImageNet, COCO, ADE20K, nuScenes에서 최첨단 또는 경쟁력 있는 결과를 baselines보다 더 높은 처리량으로 제공한다.
• DCNv4는 보편적 연산자로서 ConvNeXt 및 ViT에서 주의(attention)나 depthwise conv를 대체할 때 재튜닝 없이 처리량을 향상시키는 효과적인 역할을 한다.