[논문 리뷰] Triple-View Knowledge Distillation for Semi-Supervised Semantic Segmentation

Ping Li, Junjie Chen외 3명|arXiv (Cornell University)|2023. 09. 22.

Advanced Neural Network Applications인용 수 5

한 줄 요약

이 논문은 Pascal VOC 2012 및 Cityscapes 벤치마크에서 계산 비용을 줄이고 성능을 향상시키기 위해 세 가지 별도의 백본(ConvnNet, 비전 트랜스포머, 하이브리드)을 사용하는 삼중 시야 지식 정련 프레임워크인 TriKD를 제안한다. 공간 및 주의력 손실을 활용한 지식 정련과 주파수 도메인 채널 주의 메커니즘을 갖춘 이중 주파수 디코더를 통해 TriKD는 유사한 성능을 달성하면서도 계산 비용을 감소시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

To alleviate the expensive human labeling, semi-supervised semantic segmentation employs a few labeled images and an abundant of unlabeled images to predict the pixel-level label map with the same size. Previous methods often adopt co-training using two convolutional networks with the same architecture but different initialization, which fails to capture the sufficiently diverse features. This motivates us to use tri-training and develop the triple-view encoder to utilize the encoders with different architectures to derive diverse features, and exploit the knowledge distillation skill to learn the complementary semantics among these encoders. Moreover, existing methods simply concatenate the features from both encoder and decoder, resulting in redundant features that require large memory cost. This inspires us to devise a dual-frequency decoder that selects those important features by projecting the features from the spatial domain to the frequency domain, where the dual-frequency channel attention mechanism is introduced to model the feature importance. Therefore, we propose a Triple-view Knowledge Distillation framework, termed TriKD, for semi-supervised semantic segmentation, including the triple-view encoder and the dual-frequency decoder. Extensive experiments were conducted on two benchmarks, \ie, Pascal VOC 2012 and Cityscapes, whose results verify the superiority of the proposed method with a good tradeoff between precision and inference speed.

연구 동기 및 목표

• 기존의 공통 훈련 기반 준지도 학습 세그멘테이션 방법에서의 특징 다양성 부족과 부적절한 전역적 맥락 모델링 문제를 해결하기 위해.
• 간단한 연결 또는 1×1 컨볼루션으로 인해 발생하는 디코더 설계 시 특징 중복과 메모리 오버헤드를 줄이기 위해.
• ConvNet, 비전 트랜스포머 및 그들의 하이브리드 아키텍처로부터 상보적인 표현을 활용하여 모델 일반화 능력을 향상시키기 위해.
• 가벼운 학생 네트워크에 지식을 정련함으로써 효율적인 추론을 가능하게 하되 성능는 유지하기 위해.

제안 방법

• 순수한 ConvNet(국소적 공간 세부 정보), 순수한 비전 트랜스포머(장거리 전역 맥락), 그리고 하이브리드 ConvNet-ViT(상호 보완적 특징 학습)를 사용하는 삼중 시야 인코더를 도입한다.
• 공간 손실을 통해 저수준의 국소적 구조를 전달하고 주의력 손실을 통해 고수준의 전역적 의미를 교사 모델에서 학생 네트워크로 전달하는 두 가지 구성 요소를 갖춘 지식 정련을 적용한다.
• 빠른 푸리에 변환을 사용해 특징을 공간 도메인에서 주파수 도메인으로 변환하는 이중 주파수 디코더를 설계하여 주파수 도메인에서의 특징 중요도 모델링을 가능하게 한다.
• 차원 감소 이전에 중요한 특징을 선택적으로 유지하기 위해 이중 주파수 채널 주의 메커니즘을 적용하여 정보 손실을 최소화한다.
• 학생 및 교사 예측 간의 일致성을 향상시키기 위해 교차-가짜 레이블 감독 손실을 사용하며, 약화된 감독의 균형을 맞추기 위해 학습 가능한 초매개변수를 도입한다.
• 라벨이 부여된 데이터에 대한 지도 학습 손실, 지식 정련 손실, 교차-가짜 레이블 감독 손실의 조합을 사용해 학생 네트워크를 훈련하며, 추론은 오직 가벼운 하이브리드 ConvNet-ViT에만 수행한다.

실험 결과

연구 질문

• RQ1 삼중 시야 인코더에서 세 가지 다른 백본 아키텍처를 사용함으로써 준지도 학습 세그멘테이션에서 특징 다양성과 모델 일반화 능력이 크게 향상될 수 있는가?
• RQ2 공간 및 주의력 기반 손실을 활용한 지식 정련이 다양한 교사 네트워크에서의 국소적 및 전역적 의미 지식을 단일 학생 네트워크로 효과적으로 전달할 수 있는가?
• RQ3 주파수 도메인 채널 주의 메커니즘을 갖춘 이중 주파수 디코더가 특징 중복을 줄이고 정확도를 향상시키면서도 FLOPs와 파rameter 수를 감소시킬 수 있는가?
• RQ4 지식 정련과 교차-가짜 레이블 감독 간의 균형 조정이 낮은 라벨 데이터 환경에서 모델 성능과 강건성에 어떤 영향을 미치는가?

주요 결과

• Pascal VOC 2012에서 10%의 라벨 데이터를 사용할 때 TriKD는 80.03 mIoU를 달성하여 기준 모델 대비 1.71% 향상되어 준지도 학습 환경에서 뛰어난 성능을 입증한다.
• Cityscapes에서 10% 라벨 데이터로 TriKD는 75.98 mIoU를 기록하여 기준 모델 대비 1.52% 향상되며, 다양한 벤치마크에서의 일관된 성능 향상을 확인한다.
• 이중 주파수 디코더는 기준 UPerNet 대비 모델 파라미터를 53.7% 감소시키고 FLOPs를 82.5% 감소시켜 추론 효율성을 크게 향상시킨다.
• 제거 분석 결과, 공간 손실과 주의력 손실 정련을 모두 사용할 경우 최고의 성능를 기록하며, 둘 다 최적의 초매개변수 λ = 0.5를 갖는다.
• 교차-가짜 레이블 감독 손실은 λ = 0.1일 때 가장 우수한 성능를 보이며, 약화된 감독을 적절히 강조함으로써 과적합을 방지할 수 있음을 시사한다.
• 정성적 결과 분석에서 TriKD는 차량 휠, 램프 기둥과 같은 작은 크기의 물체나 세밀한 구조를 더 잘 세그멘테이션하며, 노이즈 또는 가림이 있는 도전적인 영역에서도 기준 모델을 능가하는 성능를 보인다.