[논문 리뷰] Refine Myself by Teaching Myself: Feature Refinement via Self-Knowledge Distillation

Mingi Ji, Seungjae Shin외 3명|arXiv (Cornell University)|2021. 03. 15.

Advanced Neural Network Applications참고 문헌 39인용 수 16

한 줄 요약

이 논문은 특징 복원을 위한 자기 지식 전이(FRSKD)를 제안한다. 이는 보조 자기 교사 네트워크를 사용하여 학생 분류기의 특징 맵과 소프트 레이블을 복원함으로써, 국소적 공간 정보를 유지하면서 이미지 분류 및 세분화 작업에서 성능 향상을 이룬다. FRSKD는 여러 벤치마크에서 최신 기술 수준의 성능을 달성하며, 특히 데이터 증강 기법과 조합할 경우 뛰어난 성능을 보인다.

ABSTRACT

Knowledge distillation is a method of transferring the knowledge from a pretrained complex teacher model to a student model, so a smaller network can replace a large teacher network at the deployment stage. To reduce the necessity of training a large teacher model, the recent literatures introduced a self-knowledge distillation, which trains a student network progressively to distill its own knowledge without a pretrained teacher network. While Self-knowledge distillation is largely divided into a data augmentation based approach and an auxiliary network based approach, the data augmentation approach looses its local information in the augmentation process, which hinders its applicability to diverse vision tasks, such as semantic segmentation. Moreover, these knowledge distillation approaches do not receive the refined feature maps, which are prevalent in the object detection and semantic segmentation community. This paper proposes a novel self-knowledge distillation method, Feature Refinement via Self-Knowledge Distillation (FRSKD), which utilizes an auxiliary self-teacher network to transfer a refined knowledge for the classifier network. Our proposed method, FRSKD, can utilize both soft label and feature-map distillations for the self-knowledge distillation. Therefore, FRSKD can be applied to classification, and semantic segmentation, which emphasize preserving the local information. We demonstrate the effectiveness of FRSKD by enumerating its performance improvements in diverse tasks and benchmark datasets. The implemented code is available at https://github.com/MingiJi/FRSKD.

연구 동기 및 목표

• 기존 자기 지식 전이 방법이 데이터 증강으로 인해 국소적 공간 정보를 상실하거나 단순한 보조 네트워크로 인해 정련된 지식을 생성하지 못하는 한계를 해결하기 위해.
• 세분화와 같은 국소적 특징 세부 정보를 유지해야 하는 시각 작업에서 효과적인 지식 전이를 가능하게 하기 위해.
• 사전 훈련된 교사 모델에 의존하지 않고, 소프트 레이블과 특징 맵 전이를 모두 활용하는 자기 지식 전이 프레임워크를 개발하기 위해.
• 전용 자기 교사 네트워크에 의해 생성된 정련된 특징 맵과 소프트 레이블을 통해 모델 성능을 향상시키기 위해.

제안 방법

• 기본 분류기의 특징 맵을 처리하고 학생 분류기에 다시 전달하기 위해 정련된 특징을 생성하는 보조 자기 교사 네트워크를 도입한다.
• 특징 정련과 지식 전달을 가능하게 하기 위해 상향 및 하향 연결을 갖춘 이중 경로 아키텍처를 사용한다.
• 특징 정련 능력을 유지하면서 파rameter 수를 줄이기 위해 자기 교사 네트워크에서 채널 차원 조정을 적용한다.
• 학생 네트워크 훈련을 이끄는 데 소프트 레이블 전이(로짓에서 유도)와 특징 맵 전이(중간 레이어에서 유도)를 모두 사용한다.
• 초기 훈련 단계에서 간섭을 방지하기 위해 지식 전이 강도에 적응형 하이퍼파ram터 스케줄링(워밍업 및 안내링)을 통합한다.
• 정련된 특징 학습을 통해 Mixup 및 Cutmix와 같은 데이터 증강 기법의 효과를 향상시켜, 이들과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 교사 모델 없이도 자기 교사 네트워크가 특징 맵과 소프트 레이블을 효과적으로 정련하여 학생 네트워크 성능 향상에 기여할 수 있는가?
• RQ2 세분화와 같은 작업에서, 제안된 FRSKD 방법이 데이터 증강 기반 자기 지식 전이보다 국소적 공간 정보를 더 잘 유지하는가?
• RQ3 소프트 레이블과 특징 맵 전이를 동시에 통합했을 때, 다양한 시각 작업에서 성능에 어떤 영향을 미치는가?
• RQ4 Mixup 및 Cutmix와 같은 표준 데이터 증강 기법과 조합했을 때 FRSKD는 성능 향상에 얼마나 기여하는가?

주요 결과

• FRSKD는 CIFAR-100, TinyImageNet, FGVC와 같은 이미지 분류 벤치마크에서 기존 자기 지식 전이 방법보다 뛰어난 최신 기술 수준의 성능을 달성한다.
• MIT67 데이터셋에서 ResNet18을 사용한 FRSKD는 베이스라인 모델보다 높은 정확도를 기록하여 미세 분류 작업에서의 효과성을 입증한다.
• 데이터 증강과 조합했을 때 성능 향상이 두드러지게 나타나며, 예를 들어 Mixup 및 Cutmix를 적용했을 때 CIFAR-100과 TinyImageNet에서 정확도 향상이 뚜렷하다.
• 제거 분석 결과, 소프트 레이블 전이와 특징 맵 전이 모두 성능 향상에 기여하며, 특히 특징 맵 전이가 공간 세부 정보 유지에 매우 효과적임을 확인했다.
• 민감도 분석 결과, FRSKD는 하이퍼파ram터 변동에 대해 강건한 편이지만, 최적 값은 데이터셋에 따라 다름을 확인했으며, α ∈ {1,2,3} 및 β ∈ {50,100,200,500} 조합에서 뛰어난 성능을 기록했다.
• 주의 맵의 정성적 비교 결과, 학생 분류기와 자기 교사 네트워크가 훈련이 진행될수록 점점 주 객체에 초점을 맞추며, 후기 에포크에서 주의 분포의 격리가 감소하는 경향을 보였다.