[논문 리뷰] Normalized Feature Distillation for Semantic Segmentation

Tao Liu, Xi Yang외 1명|arXiv (Cornell University)|2022. 07. 12.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 정규화된 특징 디스틸레이션(NFD)을 제안한다. NFD는 특징 응답의 크기 정보를 제거하여 원본 특징에서 보다 효율적인 디스틸레이션을 가능하게 하며, 수동으로 지식 형태를 설계할 필요 없이 학생 모델 성능을 향상시키는 단순하면서도 효과적인 지식 디스틸레이션 방법이다. NFD는 Cityscapes, VOC 2012, ADE20K에서 최신 기술 수준(SOTA) 성능을 달성하여 이전의 특징 디스틸레이션 방법들을 크게 능가한다.

ABSTRACT

As a promising approach in model compression, knowledge distillation improves the performance of a compact model by transferring the knowledge from a cumbersome one. The kind of knowledge used to guide the training of the student is important. Previous distillation methods in semantic segmentation strive to extract various forms of knowledge from the features, which involve elaborate manual design relying on prior information and have limited performance gains. In this paper, we propose a simple yet effective feature distillation method called normalized feature distillation (NFD), aiming to enable effective distillation with the original features without the need to manually design new forms of knowledge. The key idea is to prevent the student from focusing on imitating the magnitude of the teacher's feature response by normalization. Our method achieves state-of-the-art distillation results for semantic segmentation on Cityscapes, VOC 2012, and ADE20K datasets. Code will be available.

연구 동기 및 목표

• 세분화 작업에서 학생 모델이 교사 모델의 정확한 특징 응답을 모방하는 데 있어 효율성 부족과 높은 학습 난이도 문제를 해결하기 위해.
• 특징 디스틸레이션에서 복잡한 지식 형태(예: 주의 맵, 그램 행렬 등)를 수동으로 사전 지식 기반으로 설계할 필요를 제거하기 위해.
• 원본으로 수정되지 않은 특징만을 사용하여 정규화된 특징 분포에 초점을 맞춰 디스틸레이션 성능을 향상시키기 위해.
• 최소한의 아키텍처 수정으로도 최신 기술 수준의 디스틸레이션 성능을 달성하기 위해.

제안 방법

• NFD는 디스틸레이션 손실을 계산하기 전에 교사 및 학생 네트워크의 특징 맵을 정규화하여 크기 차이를 제거함으로써 효과적인 지식 전달을 가능하게 한다.
• 특징 맵에 대해 공간적 및 채널 차원에서 L2 정규화를 적용하여 방향성 정보는 유지하면서 크기 정보는 제거한다.
• 정규화된 특징 맵 간의 디스틸레이션 손실을 표준 L2 손실을 사용하여 계산하여 특징 방향의 유사성을 유도한다.
• 이 방법은 위치에 민감하지 않으며, 특히 특징이 더 일반적이고 정보가 풍부한 백본의 최종 레이어에서 효과적이다.
• 추가 모듈, 주의 메커니즘 또는 적대적 훈련이 필요 없어 경량이며 쉽게 통합할 수 있다.
• 초파rameter 민감도 분석을 통해 디스틸레이션 손실의 가중치 계수에 대해 뛰어난 내구성을 입증했다.

실험 결과

연구 질문

• RQ1 원본 특징에서 크기 정보를 제거함으로써 디스틸레이션 성능을 크게 향상시킬 수 있을까? 이 경우 새로운 지식 형태를 설계할 필요가 없을까?
• RQ2 왜 원본 특징을 직접 디스틸레이션하면 성능이 떨어지는가? 효과적인 지식 전달을 방해하는 주요 장애물은 무엇인가?
• RQ3 특징 응답을 정규화하면 교사와 학생의 특징 간 정렬이 향상되는가?
• RQ4 쌍별 유사성 또는 채널 기반 확률과 같은 수동으로 설계된 지식 형태에 의존하는 기존 방법들과 비교해 NFD는 어떻게 성능을 냈는가?
• RQ5 NFD의 효과성은 백본, 디코더 또는 최종 예측 레이어와 같은 네트워크 내 다양한 디스틸레이션 위치에서 달라지는가?

주요 결과

• NFD는 Cityscapes 데이터셋에서 최신 기술 수준 성능을 달성하여 학생 모델의 mIoU를 72.65%에서 75.86%로 향상시켰다.
• ADE20K 데이터셋에서는 학생 모델의 mIoU를 35.03%에서 38.55%로 향상시켜 다양한 데이터셋에 대한 강력한 일반화 능력을 입증했다.
• 쌍별 유사성(73.55% mIoU), 내부 클래스 변동성(73.90% mIoU), 채널 기반 확률(73.98% mIoU)을 사용하는 기존 방법들보다 뚜렷한 성능 향상을 보였다.
• 특히 백본의 마지막 레이어에서 디스틸레이션을 수행할 경우 가장 효과적이며, 이는 특징이 가장 일반적이고 정보가 풍부하기 때문이다.
• 초파rameter 설정에 대해 매우 뛰어난 내구성을 보이며, 다양한 손실 가중치 계수 범위에서 성능 저하가 최소한이었다.
• 제거 실험을 통해 정규화를 통한 크기 제거가 복잡한 지식 형태 설계보다 더 효과적임을 확인했으며, 모든 방법이 동일한 백본 특징 레이어를 사용할 때도 마찬가지였다.