[논문 리뷰] KD-SCFNet: Towards More Accurate and Efficient Salient Object Detection via Knowledge Distillation

Jin Zhang, Qiuwei Liang외 1명|arXiv (Cornell University)|2022. 08. 03.

Visual Attention and Saliency Detection인용 수 5

한 줄 요약

이 논문은 지식 증류를 통해 의미 지침형 문맥 융합 네트워크(SCFNet)의 특징 융합를 향상시키는 경량이지만 정확한 돌출 객체 검출 모델인 KD-SCFNet을 제안한다. 새로운 80,000장의 이미지로 구성된 데이터셋 KD-SOD80K에서의 증류를 통해, 100만 개 미만의 파라미터와 174 FPS의 추론 속도를 기록하면서도 최신 기준 성능을 달성한다.

ABSTRACT

Most existing salient object detection (SOD) models are difficult to apply due to the complex and huge model structures. Although some lightweight models are proposed, the accuracy is barely satisfactory. In this paper, we design a novel semantics-guided contextual fusion network (SCFNet) that focuses on the interactive fusion of multi-level features for accurate and efficient salient object detection. Furthermore, we apply knowledge distillation to SOD task and provide a sizeable dataset KD-SOD80K. In detail, we transfer the rich knowledge from a seasoned teacher to the untrained SCFNet through unlabeled images, enabling SCFNet to learn a strong generalization ability to detect salient objects more accurately. The knowledge distillation based SCFNet (KDSCFNet) achieves comparable accuracy to the state-of-the-art heavyweight methods with less than 1M parameters and 174 FPS real-time detection speed. Extensive experiments demonstrate the robustness and effectiveness of the proposed distillation method and SOD framework. Code and data: https://github.com/zhangjinCV/KD-SCFNet.

연구 동기 및 목표

• 경량화된 아키텍처를 설계하여 돌출 객체 검출(SOD)에서 모델 효율성과 정확도 사이의 상충 관계를 해결한다.
• 기존의 경량 SOD 모델들이 속도와 파라미터 효율성을 위해 정확도를 희생하는 데서 비롯되는 한계를 극복한다.
• 학습되지 않은 소형 학습 모델에 대해 사전 훈련된 대규모 교사 네트워크로부터 지식을 전이하여 강력한 일반화 능력을 확보한다.
• 지식 증류를 지원하고 모델의 일반화 능력을 향상시키기 위해 대규모 고품질 데이터셋 KD-SOD80K를 개발한다.
• 더 무거운 최신 기준 모델들과 경쟁 가능한 검출 정확도를 유지하면서도 실시간 추론 속도(174 FPS)를 달성한다.

제안 방법

• 다중 수준 특징 상호작용을 향상시키기 위해 의미 지침형 문맥 융합 네트워크(SCFNet)를 제안한다.
• 비라벨이 부여된 이미지를 활용하여 사전 훈련된 교사 모델의 지식을 훈련되지 않은 SCFNet 학생 모델로 증류한다.
• 특징 수준의 증류를 적용하여 학생 모델의 특징 맵을 교사의 특징 맵과 정렬함으로써 학생 모델의 일반화 능력과 검출 정확도를 향상시킨다.
• 학생 네트워크 훈련을 유도하기 위해 증류 손실과 감독 손실을 조합한 손실 함수를 설계한다.
• 고품질 애너테이션을 갖춘 80,000장의 이미지를 포함한 KD-SOD80K 데이터셋을 활용하여 증류 파이프라인을 훈련 및 평가한다.
• 파라미터 수를 최소화함(100만 이하)하면서도 증류된 지식을 통해 높은 정확도를 유지하기 위해 학생 모델을 추론 속도 최적화한다.

실험 결과

연구 질문

• RQ1 지식 증류는 파라미터 수를 늘리지 않으면서도 경량 SOD 모델의 정확도를 크게 향상시킬 수 있는가?
• RQ2 대규모 교사 네트워크에서의 증류가 소형 학생 네트워크의 일반화 능력을 SOD에서 얼마나 효과적으로 향상시키는가?
• RQ3 최근에 정제된 데이터셋인 KD-SOD80K가 증류 기반 SOD 모델의 강건성과 성능을 향상시키는 데 기여하는가?
• RQ4 SCFNet과 같은 경량 모델이 실시간 추론 속도를 유지하면서도 최신 기준 정확도를 달성할 수 있는 정도는 어느 정도인가?
• RQ5 SCFNet의 의미 지침형 특징 융합 메커니즘이 표준 특징 집합 방식과 비교해 돌출 객체 예측 성능을 향상시키는 데 기여하는 방식은 무엇인가?

주요 결과

• KD-SCFNet은 100만 개 미만의 파라미터를 가짐에도 불구하고 최신 기준 무거운 모델들과 비교해 유사한 검출 정확도를 달성한다.
• 모델은 실시간 추론 속도 174 FPS를 확보하여 실질적 구현에 적합한 높은 효율성을 보여준다.
• 지식 증류 덕분에 학생 모델의 일반화 능력이 크게 향상되어 기준 경량 모델보다 더 정확하게 돌출 객체를 검출할 수 있다.
• 제안된 KD-SOD80K 데이터셋은 증류 기반 SOD 모델의 성능을 향상시키며, 더 강건하고 일반화 능력 있는 특징 학습에 기여한다.
• SCFNet의 의미 지침형 문맥 융합 메커니즘은 장거리 의존성을 효과적으로 포착하고 특징 표현을 향상시켜 더 나은 검출 성능을 이끌어낸다.
• 증류와 효율적인 아키텍처 설계의 조합 덕분에 KD-SCFNet은 정확도 및 속도 지표에서 기존의 경량 SOD 모델을 모두 초월한다.