[논문 리뷰] Improving Fast Segmentation With Teacher-student Learning

Jiafeng Xie, Bing Shuai외 3명|arXiv (Cornell University)|2018. 10. 19.

Advanced Neural Network Applications참고 문헌 16인용 수 51

한 줄 요약

논문은 대형 교사에서 빠른 학생으로 제로차 및 일차 지식을 이전하여 빠른 분할 모델의 성능을 향상시키는 교사-학생 학습 프레임워크를 제안하며, 추가 추론 비용 없이 라벨링된 데이터와 비라벨링 데이터를 모두 활용합니다.

ABSTRACT

Recently, segmentation neural networks have been significantly improved by demonstrating very promising accuracies on public benchmarks. However, these models are very heavy and generally suffer from low inference speed, which limits their application scenarios in practice. Meanwhile, existing fast segmentation models usually fail to obtain satisfactory segmentation accuracies on public benchmarks. In this paper, we propose a teacher-student learning framework that transfers the knowledge gained by a heavy and better performed segmentation network (i.e. teacher) to guide the learning of fast segmentation networks (i.e. student). Specifically, both zero-order and first-order knowledge depicted in the fine annotated images and unlabeled auxiliary data are transferred to regularize our student learning. The proposed method can improve existing fast segmentation models without incurring extra computational overhead, so it can still process images with the same fast speed. Extensive experiments on the Pascal Context, Cityscape and VOC 2012 datasets demonstrate that the proposed teacher-student learning framework is able to significantly boost the performance of student network.

연구 동기 및 목표

• 실시간 또는 자원 제약 환경에서 빠르면서도 정확한 분할의 필요성을 제시한다.
• 교사로부터 얻은 지식을 활용해 빠른 학생의 학습을 정규화하는 교사-학생 프레임워크를 제안한다.
• 교사로부터 생성된 의사 라벨로 비라벨링 데이터를 활용하도록 프레임워크를 확장한다.
• 추가 추론 비용 없이 Pascal Context, Cityscapes, VOC 2012 등 여러 벤치마크에서 성능 향상을 보여준다.

제안 방법

• 빠른 학생 S와 고정된 교사 T(무거움)를 정의하고 L = L_S + r(S,T)를 최적화한다.
• 교사와 학생 출력 간 확률 손실 L_p를 통해 0차 지식으로 S를 정규화한다.
• 교사와 학생 출력 간 경계 정보에 대한 일관성 손실 L_c를 통해 1차 지식을 이용해 S를 정규화한다.
• 정밀 주석 데이터에서 지식을 증류하고, 비라벨링 데이터로 확장하여 교사 생성 가짜 라벨을 ground truth로 사용한다.
• 비라벨링 데이터에 대해 L = L_LabeledData + λ L_unlabeledData로 두 데이터 규범을 함께 최적화하여 학습한다.

실험 결과

연구 질문

• RQ1 추론 비용을 증가시키지 않으면서 교사 네트워크의 지식이 빠른 분할 모델을 향상시킬 수 있는가?
• RQ2 0차(확률) 지식과 1차(일관성) 지식을 결합하는 것이 각각을 단독으로 사용하는 것보다 학생 학습을 향상시키는가?
• RQ3 수동 주석 없이 교사 생성 감독을 통해 비라벨링 데이터가 성능 향상을 더 가져올 수 있는가?
• RQ4 일반적인 분할 벤치마크와 서로 다른 교사/학생 백본에서 방법의 성능은 어떠한가?

주요 결과

• Pascal Context에서 Enhanced MobileNet-1.0-DeepLab-v2(L_p, L_c, 및 unlabeled data 사용) 는 46.5 FPS에서 43.8% mIoU를 달성했고, 기준은 40.9% mIoU이다.
• 절단 실험에서 L_p만으로 mIoU가 42.3%로 증가하고, L_c를 추가하면 42.8%가 된다; 비라벨링 데이터를 활용하면 추가로 1.0% 포인트 올라 43.8% mIoU가 된다.
• 고용량 교사(ResNet-101 DeepLab-v2)를 고정하고 MobileNet 기반 학생을 사용하면 Cityscapes 검증에서 학생의 mIoU가 71.9%에 도달(67.3%에서 향상)하며 추론 속도는 20.6 FPS로 유지된다.
• VOC 2012 검증에서 향상된 MobileNet-1.0-DeepLab-v2는 69.6% mIoU를 달성하고 기본 학생보다 2.3%포인트 더 좋다.
• 세 데이터셋에 걸쳐 프레임워크는 추가 계산 오버헤드 없이 학생의 성능을 일관되게 향상시킨다.
• 향상 규모는 일반적으로 교사-학생 간 성능 차이가 클수록 커지는 경향이 있어 효과적인 지식 전달을 시사한다.