[논문 리뷰] Augmentation-Free Dense Contrastive Knowledge Distillation for Efficient Semantic Segmentation

Jiawei Fan, Chao Li외 3명|arXiv (Cornell University)|2023. 12. 07.

Advanced Neural Network Applications인용 수 4

한 줄 요약

이 논문은 데이터 증강과 메모리 버퍼를 제거하면서 채널 및 공간 차원을 통해 세분화된 마스크 처리된 특징 파artition을 활용하여 효율적인 세분화를 위한 새로운 대비 지식 정복 방법인 증강 없이 밀도 있는 대비 지식 정복(Af-DCD)을 제안한다. Af-DCD는 최신 기술 수준의 성능을 달성하며, 딥랩V3-레즈18과 딥랩V3-모바일넷V2를 학생 모델로 사용할 때 시티스케이프에서 각각 77.03%와 76.38%의 새로운 mIOU 기록을 수립한다.

ABSTRACT

In recent years, knowledge distillation methods based on contrastive learning have achieved promising results on image classification and object detection tasks. However, in this line of research, we note that less attention is paid to semantic segmentation. Existing methods heavily rely on data augmentation and memory buffer, which entail high computational resource demands when applying them to handle semantic segmentation that requires to preserve high-resolution feature maps for making dense pixel-wise predictions. In order to address this problem, we present Augmentation-free Dense Contrastive Knowledge Distillation (Af-DCD), a new contrastive distillation learning paradigm to train compact and accurate deep neural networks for semantic segmentation applications. Af-DCD leverages a masked feature mimicking strategy, and formulates a novel contrastive learning loss via taking advantage of tactful feature partitions across both channel and spatial dimensions, allowing to effectively transfer dense and structured local knowledge learnt by the teacher model to a target student model while maintaining training efficiency. Extensive experiments on five mainstream benchmarks with various teacher-student network pairs demonstrate the effectiveness of our approach. For instance, the DeepLabV3-Res18|DeepLabV3-MBV2 model trained by Af-DCD reaches 77.03%|76.38% mIOU on Cityscapes dataset when choosing DeepLabV3-Res101 as the teacher, setting new performance records. Besides that, Af-DCD achieves an absolute mIOU improvement of 3.26%|3.04%|2.75%|2.30%|1.42% compared with individually trained counterpart on Cityscapes|Pascal VOC|Camvid|ADE20K|COCO-Stuff-164K. Code is available at https://github.com/OSVAI/Af-DCD

연구 동기 및 목표

• 기존의 대비 지식 정복 방법이 데이터 증강과 메모리 버퍼에 의존함에 따라 발생하는 높은 계산 비용과 메모리 소비 문제를 해결하기 위해.
• 교사에서 학생 네트워크로의 밀도 있고 구조화된 국소 지식, 특히 경계 및 가림 영역에서의 지식을 유지하고 전달하기 위해.
• 추가적인 학습 시간과 GPU 메모리 오버헤드 없이 본질적으로 효율적인 대비 지식 정복 프레임워크를 설계하기 위해.
• 학습자와 교사의 특징 간에 픽셀 수준에서의 국소 패치 간 관계를 명시적으로 모델링하여 세분화된 특징 정렬을 향상시키기 위해.
• 다양한 데이터셋과 네트워크 아키텍처에 걸쳐 학습 효율성과 확장성을 유지하면서도 세분화 분야에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• Af-DCD는 메모리 버퍼에 저장하지 않고도 고해상도 특징 맵을 유지하기 위해 마스크 처리된 특징 재구성 전략을 도입한다.
• 채널 및 공간 차원을 모두 고려하여 특징 맵을 서로 겹치지 않는 세분화된 표현으로 분할함으로써 새로운 대비 손실을 정의한다.
• 양성 쌍은 동일한 이미지 내에서 교사와 학생 특징 맵의 동일한 절대 위치에 있는 대응하는 세분화된 특징 파artition으로 정의된다.
• 음성 쌍은 동일한 특징 맵 내에서 다른 공간 위치의 파artition을 대비하여 구성되며, 구분 가능한 표현 학습을 촉진한다.
• 학생과 교사의 특징 파artition 간 정규화된 L2 거리 기반의 대비 손실을 사용하여 마이크로 수준에서의 정렬을 보장한다.
• 이 프레임워크는 표준 작업 및 특징 정복 손실과 통합되어 데이터 증강 없이 엔드 투 엔드 학습이 가능하다.

실험 결과

연구 질문

• RQ1 세분화를 위한 대비 지식 정복 방법이 데이터 증강이나 메모리 버퍼에 의존하지 않고도 높은 성능을 달성할 수 있는가?
• RQ2 세분화된 국소 패치 특징 파artition은 교사에서 학생 모델로의 밀도 있고 구조화된 지식을 얼마나 효과적으로 전달할 수 있는가?
• RQ3 채널 및 공간 차원을 모두 고려한 옴니디멘셔널 대비가 복잡한 세분화 시나리오에서 모델 일반화 및 성능에 어떤 영향을 미치는가?
• RQ4 특히 GPU 메모리 소비와 학습 시간 측면에서, CIRKD와 같은 기존의 대비 지식 정복 접근법과 비교해 볼 때 제안된 방법은 효율성과 정확도에서 어떻게 비교되는가?
• RQ5 이 방법은 객체 경계, 소형 객체, 가림 영역과 같은 어려운 케이스의 세분화를 어느 정도 향상시키는가?

주요 결과

• Af-DCD는 교사 모델로 딥랩V3-레즈101을 사용하고 학생 모델로 딥랩V3-레즈18을 사용할 때 시티스케이프 데이터셋에서 새로운 최신 기술 수준의 mIOU 77.03%를 달성한다.
• Af-DCD는 시티스케이프 데이터셋에서 개별적으로 학습된 기준 모델 대비 mIOU를 3.26% 향상시킨다.
• Af-DCD는 패스칼 VOC, 캄비드, 어드20K, COCO-Stuff-164K에서 각각 절대 mIOU 향상률 3.04%, 2.75%, 2.30%, 1.42% 를 기록한다.
• Af-DCD는 GPU 메모리 사용량을 CIRKD의 10.09 GB에서 7.94 GB로 감소시키고, 학습 시간도 4.34시간에서 4.23시간으로 단축시키면서 성능 향상을 이룬다.
• 시각화 결과는 Af-DCD가 세분화된 수준에서 학생과 교사 특징 간의 거리를 크게 줄이고, 자기 유사성 분포를 향상시켜 경계 및 가림 영역과 같은 어려운 케이스의 세분화를 개선함을 확인한다.
• 절단 분석 결과, 최대 풀링이 더 큰 파artition 수보다 효율성이 높으며, 하이퍼파라미터 변화에 대해 강건함을 보였다.