[논문 리뷰] Channel-wise Distillation for Semantic Segmentation.

Changyong Shu, Yifan Liu외 3명|arXiv (Cornell University)|2020. 11. 26.

Advanced Neural Network Applications참고 문헌 41인용 수 9

한 줄 요약

이 논문은 공간적 특징 맵 정렬 대신 소프트맥스 정규화된 특징 맵을 채널별로 최소화하는 채널별 디스틸레이션을 제안한다. 이 방법은 공간적 디스틸레이션 기반 모델보다 낮은 학습 비용으로 성능을 향상시키며, 다양한 벤치마크와 네트워크 아키텍처에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Knowledge distillation (KD) has been proven to be a simple and effective tool for training compact models. Almost all KD variants for semantic segmentation align the student and teacher networks' feature maps in the spatial domain, typically by minimizing point-wise and/or pair-wise discrepancy. Observing that in semantic segmentation, some layers' feature activations of each channel tend to encode saliency of scene categories (analogue to class activation mapping), we propose to align features channel-wise between the student and teacher networks. To this end, we first transform the feature map of each channel into a distribution using softmax normalization, and then minimize the Kullback-Leibler (KL) divergence of the corresponding channels of the two networks. By doing so, our method focuses on mimicking the soft distributions of channels between networks. In particular, the KL divergence enables learning to pay more attention to the most salient regions of the channel-wise maps, presumably corresponding to the most useful signals for semantic segmentation. Experiments demonstrate that our channel-wise distillation outperforms almost all existing spatial distillation methods for semantic segmentation considerably, and requires less computational cost during training. We consistently achieve superior performance on three benchmarks with various network structures. Code is available at: this https URL

연구 동기 및 목표

• 기존 지식 디스틸레이션 방법이 특징 맵의 공간적 정렬에 집중하는 데서 비롯되는 한계를 해결하기 위해.
• 채널별 특징 정렬이 특징 맵 내 의미적 유사성과 주목할 만한 영역을 더 잘 포착할 수 있는지 탐색하기 위해.
• 학습 중 계산 비용을 줄이면서도 성능을 유지하거나 향상시키기 위해.
• 각 채널의 부드러운 분포를 활용하여 특징 맵의 가장 주목할 만한 영역을 강조하는 디스틸레이션 방법을 개발하기 위해.

제안 방법

• 각 채널의 특징 맵을 소프트맥스 정규화를 통해 확률 분포로 변환한다.
• 학생 및 교사 네트워크의 대응 채널 간의 쿨백-라이블러(KL) 발산을 계산한다.
• KL 발산을 최소화하여 채널 간 소프트 활성화 분포를 정렬한다.
• 가장 주목할 만한 영역에 학습을 집중시켜, 이들이 가장 유용한 의미 신호를 담고 있다고 가정한다.
• 학습 중에 채널별 디스틸레이션 손실을 적용하여 학생 네트워크가 교사의 채널별 활성화 패턴을 모방하도록 이끈다.
• 다양한 백본 아키텍처와 벤치마크를 사용하여 일반화 능력과 효율성을 평가한다.

실험 결과

연구 질문

• RQ1 채널별 디스틸레이션은 의미 분할에서 공간적 디스틸레이션 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ2 각 채널의 부드러운 분포를 정렬하는 것이 특징 맵의 공간적 정렬보다 더 나은 특징 표현을 이끌어내는가?
• RQ3 채널별 디스틸레이션은 성능을 유지하거나 향상시키면서도 학습 비용을 줄일 수 있는가?
• RQ4 이 방법은 다양한 네트워크 아키텍처와 벤치마크 데이터셋에 대해 어떻게 일반화되는가?

주요 결과

• 제안된 채널별 디스틸레이션 방법은 세 가지 주요 의미 분할 벤치마크에서 거의 모든 기존 공간적 디스틸레이션 방법보다 뛰어난 성능을 달성한다.
• 이 방법은 다양한 네트워크 아키텍처에서 일관되게 분할 정확도를 향상시켜 강력한 일반화 능력을 보여준다.
• 채널별 디스틸레이션을 사용할 경우 공간적 디스틸레이션 방법보다 학습에 더 적은 계산 비용이 소요된다.
• 소프트맥스 정규화된 채널 특징에 대한 KL 발산 사용은 모델이 가장 주목할 만한 영역에 집중하도록 하여 특징 표현 학습을 향상시킨다.