[논문 리뷰] SWA Object Detection

Haoyang Zhang, Ying Wang외 2명|arXiv (Cornell University)|2020. 12. 23.

Advanced Neural Network Applications참고 문헌 12인용 수 6

한 줄 요약

이 논문은 순환 학습률을 사용하여 추가로 12 에포크 동안 검출기를 훈련하고, 그로 얻어진 12개의 모델 체크포인트를 평균화함으로써 객체 검출 성능을 향상시키는 단순하지만 매우 효과적인 방법을 제안한다. 이 기법은 확률적 가중치 평균화(SWA)에 영감을 받아, Mask R-CNN, Faster R-CNN, RetinaNet, FCOS, YOLOv3, VFNet 등의 다양한 검출기에서 COCO 벤치마크에서 일관되게 약 1.0의 AP 향상을 이끌어내며, 추론 비용이 없고 아키텍처 변경이 없음.

ABSTRACT

Do you want to improve 1.0 AP for your object detector without any inference cost and any change to your detector? Let us tell you such a recipe. It is surprisingly simple: train your detector for an extra 12 epochs using cyclical learning rates and then average these 12 checkpoints as your final detection model}. This potent recipe is inspired by Stochastic Weights Averaging (SWA), which is proposed in arXiv:1803.05407 for improving generalization in deep neural networks. We found it also very effective in object detection. In this technique report, we systematically investigate the effects of applying SWA to object detection as well as instance segmentation. Through extensive experiments, we discover the aforementioned workable policy of performing SWA in object detection, and we consistently achieve $\sim$1.0 AP improvement over various popular detectors on the challenging COCO benchmark, including Mask RCNN, Faster RCNN, RetinaNet, FCOS, YOLOv3 and VFNet. We hope this work will make more researchers in object detection know this technique and help them train better object detectors. Code is available at: https://github.com/hyz-xmaster/swa_object_detection .

연구 동기 및 목표

• 확률적 가중치 평균화(SWA)가 객체 검출 모델의 일반화 성능을 향상시킬 수 있는지 조사하기.
• 객체 검출에 SWA를 적용하기 위한 효과적인 훈련 전략을 규명하기 — 학습률 스케줄링 및 평균화할 체크포인트 수 포함.
• 다양한 아키텍처와 백본 네트워크를 갖춘 다양한 객체 검출기에서 SWA의 영향을 평가하기.
• SWA가 검출기 아키텍처를 수정하지 않고도 일관된 AP 향상을 이끌어내며 추론 오버헤드 없이 작동함을 보여주기.

제안 방법

• 표준 훈련 스케줄(예: 1x 또는 2x 스케줄)을 사용해 사전 정의된 에포크 수까지 객체 검출기를 훈련하기.
• 표준 훈련 이후, 초기 학습률과 최종 학습률 사이를 오가는 순환 학습률을 사용해 추가로 12 에포크 훈련하기.
• 이 12개의 추가 에포크에서 생성된 모델 체크포인트를 수집하고, 이를 평균화하여 최종 SWA 모델을 구성하기.
• 동일한 아키텍처와 추론 파이프라인을 유지한 채, 평균화된 모델을 추론에 사용하기.
• Mask R-CNN, Faster R-CNN, RetinaNet, FCOS, YOLOv3, VFNet 등의 다양한 검출기들에 대해 동일한 훈련 및 평균화 절차 적용하기.
• 표준 COCO AP 메트릭을 사용해 COCO 2017 검증 세트에서 최종 SWA 모델 평가하기.

실험 결과

연구 질문

• RQ1 SWA가 아키텍처 변경 없이 객체 검출 모델의 일반화 성능을 향상시킬 수 있는가?
• RQ2 객체 검출에 SWA를 적용하기 위한 최적의 훈련 전략은 무엇인가? 특히 추가 에포크 수와 학습률 스케줄링은 어떻게 설정해야 하는가?
• RQ3 다양한 아키텍처와 백본을 갖춘 다양한 객체 검출기에서 SWA 기반 방법이 일관되게 성능 향상을 이끌어내는가?
• RQ4 오차 분해 분 析를 통해 SWA가 객체 위치 추정 및 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• 순환 학습률을 사용해 추가로 12 에포크 훈련하고, 그 결과로 얻은 12개 체크포인트를 평균화함으로써, 모든 테스트된 검출기에서 COCO 벤치마크에서 약 1.0의 AP 향상이 이루어짐.
• SWA 1-12 모델은 24 또는 48 에포크 동안 훈련된 SWA 모델보다 비교적 동등하거나 더 뛰어난 성능을 보이며, 최적의 성능 향상을 위해 추가로 12 에포크 훈련하는 것이 충분함을 시사함.
• 오차 분해 분석에 따르면, 위치 추정 정확도(예: IoU=0.75일 때 +1.0 AP)와 분류 정확도(예: 위치 오차를 무시할 경우 +0.9 AP) 양쪽 모두 향상됨.
• 원래 AP가 높은 모델이든 낮은 초기 정확도를 가진 모델이든, SWA 기법은 모든 경우에 일관되게 성능 향상을 이끌어냄.
• 고정 학습률로 16 에포크, 이후 순환 학습률로 12 에포크 훈련하는 혼합 전략을 사용해 초기 상태에서 훈련한 SWA 모델이 사전 훈련된 모델을 기반으로 한 SWA 모델과 동일한 성능(41.7 bbox AP, 37.4 mask AP)을 달성함으로써, 이 방법의 강건성을 확인함.
• Mask R-CNN, Faster R-CNN, RetinaNet, FCOS, YOLOv3, VFNet 등 여러 검출기에서 개선 효과가 관찰되어 광범위한 적용 가능성을 입증함.