[논문 리뷰] RevBiFPN: The Fully Reversible Bidirectional Feature Pyramid Network

Vitaliy Chiley, Vithursan Thangarasa외 4명|arXiv (Cornell University)|2022. 06. 28.

Advanced Neural Network Applications인용 수 11

한 줄 요약

이 논문은 활성화 메모리 저장을 제거하기 위해 가역 계산을 활용하는 완전히 가역적인 이방향 특징 피라미드 네트워크인 RevBiFPN을 소개한다. 이는 고해상도, 다중 척도 네트워크의 효율적 훈련을 가능하게 하며, ImageNet에서 SOTA 성능을 달성한다. EfficientNet 대비 최대 19.8배 적은 훈련 메모리 사용과 HRNet 대비 2.4배 적은 메모리 사용을 기록했으며, MS COCO에서 AP는 최대 2.5% 향상되었다.

ABSTRACT

This work introduces RevSilo, the first reversible bidirectional multi-scale feature fusion module. Like other reversible methods, RevSilo eliminates the need to store hidden activations by recomputing them. However, existing reversible methods do not apply to multi-scale feature fusion and are, therefore, not applicable to a large class of networks. Bidirectional multi-scale feature fusion promotes local and global coherence and has become a de facto design principle for networks targeting spatially sensitive tasks, e.g., HRNet (Sun et al., 2019a) and EfficientDet (Tan et al., 2020). These networks achieve state-of-the-art results across various computer vision tasks when paired with high-resolution inputs. However, training them requires substantial accelerator memory for saving large, multi-resolution activations. These memory requirements inherently cap the size of neural networks, limiting improvements that come from scale. Operating across resolution scales, RevSilo alleviates these issues. Stacking RevSilos, we create RevBiFPN, a fully reversible bidirectional feature pyramid network. RevBiFPN is competitive with networks such as EfficientNet while using up to 19.8x lesser training memory for image classification. When fine-tuned on MS COCO, RevBiFPN provides up to a 2.5% boost in AP over HRNet using fewer MACs and a 2.4x reduction in training-time memory.

연구 동기 및 목표

• 다중 척도 특징 융합을 사용하는 깊고 고해상도 네트워크의 훈련에 소요되는 높은 메모리 비용을 해결한다.
• 기존의 가역 방법이 이방향 다중 척도 특징 융합을 지원하지 못하는 한계를 극복한다.
• 감지 및 분할과 같은 공간에 민감한 작업을 위한 상태최저 수준의 비전 모델을 확장 가능하고 메모리 효율적으로 훈련할 수 있도록 한다.
• 중간 활성화를 저장하지 않고도 전방 및 후방 계산을 모두 지원하는 가역 모듈을 설계한다.
• 가역적 다중 척도 융합이 표준 BiFPN 및 HRNet 아키텍처보다 정확도와 효율성 면에서 뛰어나다는 것을 입증한다.

제안 방법

• 백프로파게이션 중에 특징을 재계산함으로써 활성화 없이 훈련이 가능한 새로운 가역적 이방향 다중 척도 특징 융합 모듈인 RevSilo를 제안한다.
• 다양한 특징 척도 간의 양방향 융합을 지원하도록 RevSilo를 설계하여 국소적이고 전역적인 공간 일관성을 유지한다.
• 가역 계산을 활용하여 네트워크 깊이에 비례하는 활성화 메모리 복잡도를 선형에서 상수로 감소시킨다.
• RevSilo 모듈을 연결하여 BiFPN 아키텍처의 완전히 가역적인 버전인 RevBiFPN를 구축한다.
• MBConv를 주요 빌딩 블록으로 사용하여 표준 비전 모델에 RevBiFPN를 통합함으로써 메모리 제약이 있는 하드웨어에서도 효율적인 훈련을 지원한다.
• 네트워크 깊이, 너비, 입력 해상도를 효율적으로 확장하면서도 메모리 효율성을 유지하기 위해 빠른 스케일링(Fast Scaling)을 적용한다.

실험 결과

연구 질문

• RQ1 가역 계산이 비전 네트워크의 이방향 다중 척도 특징 융합에 효과적으로 확장될 수 있는가?
• RQ2 가역적 다중 척도 융합은 정확도를 희생시키지 않고 훈련 메모리를 얼마나 줄일 수 있는가?
• RQ3 RevBiFPN는 EfficientNet 및 HRNet과 같은 SOTA 모델과 정확도, MACs, 메모리 사용 면에서 어떻게 비교되는가?
• RQ4 메모리 제약 조건 하에서 RevBiFPN는 감지 및 분할 작업에서 더 큰 배치 크기와 더 높은 입력 해상도를 가능하게 하는가?
• RQ5 다중 척도 특징 융합에서의 가역 계산은 분류를 넘어서 다른 아키텍처와 작업으로 일반화되는가?

주요 결과

• ImageNet에서 RevBiFPN는 단지 5.05 GB의 훈련 메모리로 84.3%의 top-1 정확도를 달성했으며, 이는 EfficientNet-B7와 동일한 메모리 사용량이지만 유사한 능력으로 확장했을 때 기준선 대비 19.8배 적은 메모리 사용량을 기록했다.
• MS COCO 객체 감지에서 RevBiFPN-S6는 HRNetV2p-W32보다 Bbox AP가 2.4% 높고 Mask AP가 2.0% 높았으며, 훈련 중 GPU 메모리 사용량은 1.6 GB 적었다.
• HRNetV2p-W48를 2배 스케줄로 훈련해도 여전히 RevBiFPN-S6(1배 스케줄)의 성능을 능가하지 못해, RevBiFPN의 뛰어난 메모리 효율성을 입증했다.
• RevBiFPN-S2는 COCO에서 HRNetV2p-W18의 성능을 재현했지만, MACs는 1.2배 적고, 메모리는 2.5배 적게 사용해 효율성 향상을 명확히 보여주었다.
• RevBiFPN는 감지 및 분할 작업에서 더 큰 배치 크기와 더 높은 입력 해상도를 가능하게 하여 훈련 안정성과 성능을 향상시켰다.
• 이 방법은 향후 ResNet, Transformer 등의 다른 아키텍처나 프루닝, 양자화 등의 추론 기법으로의 확장도 지원하여 광범위한 적용 가능성을 보였다.