[논문 리뷰] Localization Distillation for Object Detection

Zhaohui Zheng, Rongguang Ye외 5명|arXiv (Cornell University)|2022. 04. 12.

Advanced Neural Network Applications인용 수 14

한 줄 요약

이 논문은 객체 검출을 위한 새로운 지식 정련 방법인 로컬라이제이션 정련(LD)을 제안한다. LD는 경계 박스 분포를 통해 로컬라이제이션 지식을 전달함으로써 히든층 특징 유사성보다 로그릿 모방(logit mimicking)이 더 우수한 성능을 내도록 한다. 유의미한 로컬라이제이션 영역(VLR)을 도입하여 선택적 정련을 수행함으로써, 추론 속도에 영향을 주지 않으면서도 MS COCO, PASCAL VOC, DOTA 벤치마크에서 최신 기준(AP) 향상을 달성한다.

ABSTRACT

Previous knowledge distillation (KD) methods for object detection mostly focus on feature imitation instead of mimicking the prediction logits due to its inefficiency in distilling the localization information. In this paper, we investigate whether logit mimicking always lags behind feature imitation. Towards this goal, we first present a novel localization distillation (LD) method which can efficiently transfer the localization knowledge from the teacher to the student. Second, we introduce the concept of valuable localization region that can aid to selectively distill the classification and localization knowledge for a certain region. Combining these two new components, for the first time, we show that logit mimicking can outperform feature imitation and the absence of localization distillation is a critical reason for why logit mimicking underperforms for years. The thorough studies exhibit the great potential of logit mimicking that can significantly alleviate the localization ambiguity, learn robust feature representation, and ease the training difficulty in the early stage. We also provide the theoretical connection between the proposed LD and the classification KD, that they share the equivalent optimization effect. Our distillation scheme is simple as well as effective and can be easily applied to both dense horizontal object detectors and rotated object detectors. Extensive experiments on the MS COCO, PASCAL VOC, and DOTA benchmarks demonstrate that our method can achieve considerable AP improvement without any sacrifice on the inference speed. Our source code and pretrained models are publicly available at https://github.com/HikariTJU/LD.

연구 동기 및 목표

• 객체 검출 지식 정련에서 오랫동안 지속된 특징 유사성이 항상 로그릿 모방보다 우월하다는 믿음을 도전하기 위해.
• 로그릿 모방이 수년간 객체 검출에서 성능이 열등했던 이유를 분석하고, 특히 효과적인 로컬라이제이션 지식 전달의 부재가 원인임을 규명하기 위해.
• 로컬라이제이션 불확실성을 명시적으로 모델링함으로써 로그릿 모방이 특징 유사성을 능가할 수 있는 단순하면서도 효과적인 정련 프레임워크를 개발하기 위해.
• 지역화 중요도 기반으로 분류 및 로컬라이제이션 지식을 선택적으로 정련할 수 있도록 유의미한 로컬라이제이션 영역(VLR) 개념을 도입하기 위해.
• LD와 분류 지식 정련 간의 이론적 연결 고리를 수립하여 최적화 효과가 동일함을 보여주기 위해.

제안 방법

• 교사 모델의 경계 박스 분포를 supervision으로 사용하여, 가짜 경계 박스 회귀보다 더 풍부한 로컬라이제이션 지식을 전달하는 로컬라이제이션 정련(LD)을 제안한다.
• 이산화된 확률 분포를 활용하여 로컬라이제이션 모호성을 모델링하며, 평탄함과 날카움이 불확실성을 반영하여 더 효과적인 로컬라이제이션 지식 전달이 가능하도록 한다.
• 유의미한 로컬라이제이션 영역(VLR) 개념을 도입하여 중요도가 높은 영역에 집중적으로 정련함으로써 효율성과 성능을 향상시킨다.
• 분류 지식 정련과 통합된 단일 로그릿 모방 프레임워크 내에서 LD를 결합하여 분류 및 로컬라이제이션 지식을 별도로 정련할 수 있도록 한다.
• 기울기 재스케일링 분 析을 통해 LD가 로그릿 공간에서 은직적 기울기 재가중을 수행함을 보이며, 포칼 손실과 유사한 학습 안정성 향상과 수렴 성능 향상을 이룬다.
• 교사 모델 출력을 확률 분포의 선형 조합으로 분해함으로써, 최적화 행동에서 LD와 분류 지식 정련 간 이론적 동등성을 확보한다.

Figure 1: Existing KD pipelines for object detection. ① Logit Mimicking: classification KD in [ 1 ] . ② Feature Imitation: recent popular methods distill intermediate features based on various distillation regions, which usually need adaptive layers to align the size of the student’s feature map. ③

실험 결과

연구 질문

• RQ1 이미지 분류에서는 성공했지만 객체 검출에서는 성능이 열등했던 로그릿 모방이 특징 유사성보다 열등한 이유는 무엇인가?
• RQ2 로컬라이제이션 지식이 효과적으로 전달된다면, 로그릿 모방이 특징 유사성보다 우월한 성능을 낼 수 있는가?
• RQ3 로컬라이제이션 모호성을 어떻게 모델링하고 활용할 수 있는가?
• RQ4 선택적 정련은 지식 정련의 효율성과 정확도 향상에 어떤 역할을 하는가?
• RQ5 최적화 역학 측면에서 로컬라이제이션 정련과 분류 지식 정련 간에 이론적 동등성이 존재하는가?

주요 결과

• 로컬라이제이션 정련(LD)을 통해 객체 검출에서 처음으로 로그릿 모방이 특징 유사성을 능가함을 입증하였으며, 이는 이전에 로그릿 모방이 성능이 열등했던 이유가 로컬라이제이션 정련의 부재였다는 것을 보여준다.
• MS COCO, PASCAL VOC, DOTA 벤치마크에서 추론 속도에 영향을 주지 않으면서도 상당한 AP 향상을 달성하여 효율성과 효과성을 입증한다.
• 유의미한 로컬라이제이션 영역(VLR) 도입으로 중요도가 높은 영역에 집중함으로써 정련 성능이 향상되었으며, 정확도 향상과 학습 안정성 향상에 기여한다.
• 이론적 분석을 통해 LD가 분류 지식 정련과 동일한 최적화 효과를 가지며, 학습 역학에서의 동등성을 검증함으로써 탄탄한 이론적 기반을 확보한다.
• 기울기 재스케일링 분석을 통해 LD가 포칼 손실 유사 기울기 재가중을 암묵적으로 수행함을 밝혀내어, 초기 학습 단계의 난이도를 완화하고 수렴 성능을 향상시킨다.
• 광범위한 아블레이션 연구를 통해 LD가 로컬라이제이션 모호성을 크게 감소시키며, 더 강건한 특징 표현을 학습하고 학생 검출기의 일반화 능력을 향상시킴을 확인한다.

Figure 2: Bottom edge for “ elephant ” and right edge for “ surfboard ” are ambiguous to locate.