[논문 리뷰] An Empirical Study of Adder Neural Networks for Object Detection

Xinghao Chen, Chang Xu외 3명|arXiv (Cornell University)|2021. 12. 27.

Advanced Neural Network Applications인용 수 10

한 줄 요약

이 논문은 객체 검출을 위한 Adder 신경망(AdderNets)에 대한 실증 연구를 제시하며, 정확도와 특징 희소성 문제를 해결하기 위해 새로운 훈련 전략과 아키텍처를 제안한다. 배치 정규화 통계를 동결 해제하고 역방향 다중 척도 특징 융합 모듈(R-PAFPN)을 도입함으로써, 제안된 Adder FCOS는 COCO에서 약 1.4배의 에너지 절감과 함께 37.8% mAP를 달성한다.

ABSTRACT

Adder neural networks (AdderNets) have shown impressive performance on image classification with only addition operations, which are more energy efficient than traditional convolutional neural networks built with multiplications. Compared with classification, there is a strong demand on reducing the energy consumption of modern object detectors via AdderNets for real-world applications such as autonomous driving and face detection. In this paper, we present an empirical study of AdderNets for object detection. We first reveal that the batch normalization statistics in the pre-trained adder backbone should not be frozen, since the relatively large feature variance of AdderNets. Moreover, we insert more shortcut connections in the neck part and design a new feature fusion architecture for avoiding the sparse features of adder layers. We present extensive ablation studies to explore several design choices of adder detectors. Comparisons with state-of-the-arts are conducted on COCO and PASCAL VOC benchmarks. Specifically, the proposed Adder FCOS achieves a 37.8\% AP on the COCO val set, demonstrating comparable performance to that of the convolutional counterpart with an about $1.4 imes$ energy reduction.

연구 동기 및 목표

• 객체 검출과 같은 더 복잡한 작업에서 Adder 신경망의 실현 가능성과 성능을 조사하기 위해.
• 표준 미세조정 전략이 필터 민감도와 특징 희소성로 인해 실패하는 객체 검출을 위한 AdderNets 훈련 문제를 해결하기 위해.
• adder 레이어 내재적 특징 희소성 패턴을 보완하기 위한 아키텍처 수정을 탐색하기 위해.
• 자율 주행 및 모바일 비전과 같은 실생활 응용 분야에서 유리한 정확도-에너지 트레이드오프를 달성하기 위해.
• 특히 배치 정규화와 특징 융합에 관해 Adder 기반 검출기의 최적 실천 방법을 수립하기 위해.

제안 방법

• 사전 훈련된 adder 백본에서 배치 정규화 통계를 동결 해제하여 특징 분산과 훈련 안정성을 향상시키기 위해.
• 특징 전파를 향상시키고 희소 활성화를 완화하기 위해 네ック 모듈에 추가적인 단축 연결을 도입하기 위해.
• 고수준의 희소 특징을 더 잘 처리하기 위해 특징을 역순으로 융합하는 새로운 역방향 다중 척도 특징 융합 모듈(R-PAFPN)을 설계하기 위해.
• 곱셈 연산을 제거하고 에너지 소비를 줄이기 위해 백본과 네인지의 컨볼루션 레이어를 adder 필터로 대체하기 위해.
• 예측 헤드는 컨볼루션 레이어로 유지하면서, 표준 객체 검출 프레임워크(예: FCOS, RetinaNet)를 사용해 adder 기반 구성 요소를 포함한 검출기 훈련하기 위해.
• 성능 최적화를 위해 배치 크기, 정규화 전략 및 아키텍처 구성 요소에 대한 광범위한 추론 연구 수행하기 위해.

실험 결과

연구 질문

• RQ1 사전 훈련된 adder 백본에서 배치 정규화 통계를 동결하면 왜 객체 검출 성능이 떨어지는가? 그리고 최적의 미세조정 전략은 무엇인가?
• RQ2 배치 크기와 정규화 통계는 adder 기반 검출기의 훈련 역학과 최종 정확도에 어떤 영향을 미치는가?
• RQ3 추가 스킵 연결 및 새로운 융합 모듈과 같은 아키텍처 수정이 adder 레이어의 희소 특징 표현을 효과적으로 보완할 수 있는가?
• RQ4 adder 기반 검출기가 뚜렷한 에너지 절감을 이룰 수 있을 정도로 컨볼루션 기반 검출기의 정확도에 근접할 수 있는가?
• RQ5 예측 헤드의 컨볼루션 레이어를 adder 필터로 대체할 경우 성능 트레이드오프는 어떻게 되는가?

주요 결과

• 사전 훈련된 adder 백본에서 배치 정규화 통계를 동결 해제하면, 컨볼루션 검출기에서 일반적인 관행과는 반대로 성능 향상이 뚜렷하게 발생한다.
• 제안된 R-PAFPN 모듈은 adder 레이어에서 유래한 희소 특징의 영향을 효과적으로 완화하여 네크 내 특징 표현을 향상시킨다.
• Adder FCOS는 COCO val2017에서 37.8% mAP를 달성하여, RetinaNet과 같은 최신 컨볼루션 기반 검출기와 동등한 정확도를 확보하면서 에너지 비용을 약 1.4배 감소시킨다.
• 백본과 네크를 모두 교체한 Adder FCOS B+N은 37.0% mAP를 기록하며 곱셈 연산을 더욱 줄여 강력한 에너지 효율성을 입증한다.
• 더 작은 입력 크기(예: 736×512)에서 Adder FCOS-RT는 에너지 비용을 344.4에서 244.4로 줄였고, 기준 모델 대비 정확도 손실은 1.3%에 불과하다.
• 예측 헤드의 컨볼루션 레이어를 adder 필터로 대체하면 정확도가 뚜렷하게 감소하므로, 현재의 adder 헤드는 고정확도 검출에 적합하지 않다는 것을 시사한다.