[논문 리뷰] General Instance Distillation for Object Detection

Xing Dai, Zeren Jiang외 5명|arXiv (Cornell University)|2021. 03. 03.

Advanced Neural Network Applications참고 문헌 34인용 수 6

한 줄 요약

이 논문은 객체 검출을 위한 새로운 지식 증류 프레임워크인 일반 인스턴스 증류(GID)를 제안한다. 이 방법은 정답 레이블에 관계없이 분류 가능한 인스턴스를 선택하여 증류한다. 이러한 일반 인스턴스로부터 특성 기반, 관계 기반, 반응 기반 지식을 활용함으로써 GID는 다양한 검출 프레임워크에서 학생 모델 성능을 향상시킨다. RetinaNet-Res50를 사용할 경우 COCO에서 39.1% mAP를 달성하여 기준 모델과 ResNet-101 기반 교사 모델을 모두 능가한다.

ABSTRACT

In recent years, knowledge distillation has been proved to be an effective solution for model compression. This approach can make lightweight student models acquire the knowledge extracted from cumbersome teacher models. However, previous distillation methods of detection have weak generalization for different detection frameworks and rely heavily on ground truth (GT), ignoring the valuable relation information between instances. Thus, we propose a novel distillation method for detection tasks based on discriminative instances without considering the positive or negative distinguished by GT, which is called general instance distillation (GID). Our approach contains a general instance selection module (GISM) to make full use of feature-based, relation-based and response-based knowledge for distillation. Extensive results demonstrate that the student model achieves significant AP improvement and even outperforms the teacher in various detection frameworks. Specifically, RetinaNet with ResNet-50 achieves 39.1% in mAP with GID on COCO dataset, which surpasses the baseline 36.2% by 2.9%, and even better than the ResNet-101 based teacher model with 38.1% AP.

연구 동기 및 목표

• 기존 지식 증류 방법이 다양한 객체 검출 프레임워크에 걸쳐 일반화 능력이 제한된 문제를 해결하기 위해.
• 정답 애너테이션에 의존하거나 검출 증류에서 양성 및 음성 인스턴스 간의 불균형 문제를 해결하기 위해.
• 양성 인스턴스뿐만 아니라 정보가 풍부한 배경 패치까지 활용하여 학생 모델 성능을 향상시키기 위해.
• 단일 스테이지, 이중 스테이지, 앵커 기반 아님 검출 아키텍처에 모두 강건한 증류 방법을 개발하기 위해.

제안 방법

• 정답 레이블에 의존하지 않고 교사 및 학생 네트워크의 모델 출력을 기반으로 선택된 일반 인스턴스(GIs)를 증류 대상으로 도입한다.
• 응답, 특성, 관계 기반 유사도를 활용해 교사 및 학생 예측 간의 유사도를 분석함으로써 가장 분류 가능한 인스턴스를 적응적으로 식별하는 일반 인스턴스 선택 모듈(GISM)을 설계한다.
• 응답 기반(로그릿), 특성 기반(중간 활성화), 관계 기반(쌍별 인스턴스 상호작용)의 세 가지 유형의 지식을 증류에 통합한다.
• 응답, 특성, 관계 손실의 가중 조합을 사용하여 교사에서 학생으로 지식을 전이하는 지식 증류 손실을 적용한다.
• GISM에서 상위-K 선택 전략을 사용하여 선택된 GIs의 수를 제어함으로써 정보성 있는 인스턴스와 학습 효율성 간의 균형을 확보한다.
• 앵커나 RPN과 같은 특정 구성 요소에 의존하지 않도록 하여 프레임워크에 종속되지 않는 설계를 구현함으로써 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 정답 애너테이션이나 양성/음성 인스턴스의 구분에 의존하지 않고도 객체 검출에서 지식 증류가 효과적으로 작동할 수 있는가?
• RQ2 인스턴스 간의 관계 기반 지식이 객체 검출 증류 성능에 어떻게 기여하는가?
• RQ3 정보가 풍부한 배경 패치(음성 인스턴스)가 학생 모델의 일반화에 어느 정도 기여하는가?
• RQ4 증류 성능는 다양한 검출 프레임워크 간에 다를 수 있으며, 통합된 방법이 이들 간에 일반화 가능한가?
• RQ5 최적의 선택된 일반 인스턴스 수(상위-K)는 무엇이며, 이를 통해 증류 효율성과 모델 정확도를 최대화할 수 있는가?

주요 결과

• GID를 적용한 학생 모델은 RetinaNet-Res50를 사용해 COCO에서 39.1% mAP를 달성하였으며, 기준 모델(36.2%)을 뛰어나고, ResNet-101 기반 교사 모델(38.1% mAP)을도 초월한다.
• 음성 인스턴스(배경 패치)에서만 증류를 수행하더라도 성능 향상이 이루어지며, 이는 정보가 풍부한 배경 지식이 가치가 있으며 종종 간과된다는 점을 시사한다.
• 특성 기반, 관계 기반, 응답 기반 지식의 조합이 가장 높은 성능을 내며, 특성 및 응답 지식 각각 약 1.7 mAP의 성능 향상을 기여한다.
• GISM의 최적의 상위-K는 10에서 100 사이에 위치하며, K가 100을 초과하면 의미 없는 또는 정보가 적은 인스턴스가 포함되어 성능이 저하된다.
• GISM에 의해 선택된 정답 인스턴스의 일부만으로도 모든 정답 인스턴스에 대해 증류하는 것보다 성능이 뛰어나며, 이는 극단적으로 어려운 또는 단순한 샘플이 증류에 악영향을 줄 수 있음을 시사한다.
• 학습 과정 중에 양성 증류 인스턴스의 비율은 감소하는 반면, 후반 단계에서의 성능 향상은 주로 분류 가능한 배경 및 핵심 패치의 특성에 의해 주로 이뤄진다.