[논문 리뷰] ParC-Net: Position Aware Circular Convolution with Merits from ConvNets and Transformer

Haokui Zhang, Wenze Hu외 1명|arXiv (Cornell University)|2022. 03. 08.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

ParC-Net는 전방위적 모델링 능력을 가진 비전 트랜스포머와 국소적인 인덕티브 바이어스를 지닌 컨볼루션 네트워크(ConvNets)를 위치 인식 원형 컨벌루션(ParC)을 통해 통합한 경량 순수 ConvNet 아키텍처이다. ParC를 메타포머 블록과 채널별 어텐션과 결합함으로써, 이미지넷-1k에서 78.6%의 상위-1 정확도를 달성하며, 모바일 및 엣지 디바이스에서 파라미터 효율성, 추론 속도, 정확도 면에서 MobileViT와 DeiT를 모두 능가한다.

ABSTRACT

Recently, vision transformers started to show impressive results which outperform large convolution based models significantly. However, in the area of small models for mobile or resource constrained devices, ConvNet still has its own advantages in both performance and model complexity. We propose ParC-Net, a pure ConvNet based backbone model that further strengthens these advantages by fusing the merits of vision transformers into ConvNets. Specifically, we propose position aware circular convolution (ParC), a light-weight convolution op which boasts a global receptive field while producing location sensitive features as in local convolutions. We combine the ParCs and squeeze-exictation ops to form a meta-former like model block, which further has the attention mechanism like transformers. The aforementioned block can be used in plug-and-play manner to replace relevant blocks in ConvNets or transformers. Experiment results show that the proposed ParC-Net achieves better performance than popular light-weight ConvNets and vision transformer based models in common vision tasks and datasets, while having fewer parameters and faster inference speed. For classification on ImageNet-1k, ParC-Net achieves 78.6% top-1 accuracy with about 5.0 million parameters, saving 11% parameters and 13% computational cost but gaining 0.2% higher accuracy and 23% faster inference speed (on ARM based Rockchip RK3288) compared with MobileViT, and uses only 0.5 times parameters but gaining 2.7% accuracy compared with DeIT. On MS-COCO object detection and PASCAL VOC segmentation tasks, ParC-Net also shows better performance. Source code is available at https://github.com/hkzhang91/ParC-Net

연구 동기 및 목표

• 순수한 컨볼루션 네트워크 아키텍처로서 컨볼루션 네트워크의 장점을 유지하면서도 비전 트랜스포머의 전역 모델링 능력을 통합하는 것을 목표로 한다.
• 기존 컨벌루션의 제한된 수용장역 문제를 해결하기 위해 위치 인식 원형 컨벌루션(ParC)을 도입하여 공간적 구조를 유지하면서도 전역적 맥락을 포착한다.
• 메타포머 블록 설계와 채널별 어텐션을 결합함으로써 동적 특징 정제를 가능하게 하여 모바일 및 엣지 디바이스에서의 성능을 향상시킨다.
• 자원 제약이 있는 하드웨어에서 기존의 경량 모델들인 MobileViT와 DeiT보다 더 높은 정확도, 더 적은 파라미터 수, 더 빠른 추론 속도를 달성하는 것을 목표로 한다.

제안 방법

• 위치 인식 원형 컨벌루션(ParC)을 제안하여 원형 패딩을 적용하고 위치 임베딩을 학습함으로써 공간적 구조를 유지하면서도 전역 수용장역을 가능하게 한다.
• 메타포머 블록 아키텍처와 ParC를 통합하여 자기어텐션 메커니즘의 기능을 오직 컨벌루션 연산만으로 모방한다.
• 피드포워드 네트워크(FFN) 경로에 채널별 어텐션을 적용하여 입력 의존적이고 동적일 수 있는 커널 가중치를 부여함으로써 특징 표현을 향상시킨다.
• 모든 스테이지에서 국소적 및 전역적 특징 학습을 균형 있게 유지하기 위해 이중화 네트워크 구조(모바일비티 및 코트넷과 유사)를 사용한다.
• 설치가 간편한 설계를 적용하여 기존의 컨볼루션 네트워크나 트랜스포머 아키텍처에 ParC 블록을 추가로 삽입할 수 있도록 하며, 아키텍처 전체를 재설계할 필요가 없다.
• 로크칩 RK3288 및 DP2000와 같은 저전력 칩에서 고도로 최적화된 컨벌루션 연산자와 효율적인 추론 파이프라인을 활용하여 엣지 배포를 최적화한다.

실험 결과

연구 질문

• RQ1 순수한 컨볼루션 네트워크 아키텍처가 엣지 디바이스에서 하드웨어 효율성을 유지하면서도 비전 트랜스포머 수준의 성능을 달성할 수 있는가?
• RQ2 자기어텐션 메커니즘에 의존하지 않고도 컨볼루션 네트워크에 효과적이고 효율적으로 전역 수용장역을 통합할 수 있는가?
• RQ3 위치 인식 원형 컨벌루션은 얼마나 오랫동안 장거리 특징 집합을 가능하게 하면서도 공간적 구조를 유지할 수 있는가?
• RQ4 메타포머 블록 설계와 채널별 어텐션을 컨볼루션 네트워크에 통합함으로써 모델 복잡도 증가 없이도 비전 작업 성능을 향상시킬 수 있는가?
• RQ5 제안된 ParC-Net은 저전력 하드웨어에서 최신 경량 모델보다 더 빠른 추론 속도와 더 낮은 계산 비용을 달성하는가?

주요 결과

• ParC-Net는 이미지넷-1k에서 500만 개의 파라미터로 78.6%의 상위-1 정확도를 달성하며, 모바일비티보다 정확도(+0.2%)가 높고 로크칩 RK3288에서 23% 더 빠른 추론 속도를 기록한다.
• 모바일비티보다 11% 적은 파라미터와 13% 적은 FLOPs를 사용하면서도 더 높은 정확도를 유지하여 뛰어난 파라미터 효율성을 입증한다.
• 저전력 프로세서인 DP2000에서 ParC-Net은 모바일비티보다 3.77배 더 빠르게 작동하여 하드웨어 효율성과 엣지 디바이스 적합성을 확인한다.
• 더 적은 파라미터를 가짐에도 불구하고 MS-COCO 객체 검출 및 PASCAL VOC 세그멘테이션 작업에서 다른 경량 모델보다 mAP와 mIOU를 향상시킨다.
• 제거 실험 결과 모든 구성 요소—ParC, 메타포머 블록, 채널별 어텐션—이 필수적임을 확인한다. 특히 위치 민감한 작업에서 어떤 요소라도 제거하면 성능 저하가 발생한다.
• 설치가 간편한 ParC 블록은 기존의 ResNet50, MobileNetV2, ConvNeXt-T 등 다양한 모델에 삽입 가능하며, 아키텍처에 관계없이 정확도와 효율성을 통합적으로 향상시킨다.