[논문 리뷰] Inter-Region Affinity Distillation for Road Marking Segmentation

Yuenan Hou, Zheng Ma외 3명|arXiv (Cornell University)|2020. 04. 11.

Advanced Neural Network Applications참고 문헌 37인용 수 9

한 줄 요약

이 논문은 도로 마킹 세그멘테이션을 위한 경량 학습 모델에 대규모 교사 네트워크(ResNet-101)로부터 구조적 환경 지식을 전달하는 새로운 지식 정련 방법인 상호 영역 유사도 정련(Inter-Region Affinity Knowledge Distillation, IntRA-KD)을 제안한다. 공간적 영역 간의 특징 분포 유사도를 바탕으로 상호 영역 유사도 그래프를 구성함으로써, IntRA-KD는 학생 모델이 전역적 구조적 사전 지식을 학습할 수 있도록 하여, ApolloScape, CULane, LLAMAS에서 기존 최고 성능를 달성한다. ResNet-101보다 21배 적은 파라미터와 16배 빠른 추론 속도(10.2ms)를 기록한다.

ABSTRACT

We study the problem of distilling knowledge from a large deep teacher network to a much smaller student network for the task of road marking segmentation. In this work, we explore a novel knowledge distillation (KD) approach that can transfer 'knowledge' on scene structure more effectively from a teacher to a student model. Our method is known as Inter-Region Affinity KD (IntRA-KD). It decomposes a given road scene image into different regions and represents each region as a node in a graph. An inter-region affinity graph is then formed by establishing pairwise relationships between nodes based on their similarity in feature distribution. To learn structural knowledge from the teacher network, the student is required to match the graph generated by the teacher. The proposed method shows promising results on three large-scale road marking segmentation benchmarks, i.e., ApolloScape, CULane and LLAMAS, by taking various lightweight models as students and ResNet-101 as the teacher. IntRA-KD consistently brings higher performance gains on all lightweight models, compared to previous distillation methods. Our code is available at https://github.com/cardwing/Codes-for-IntRA-KD.

연구 동기 및 목표

• 희소 지도 신호와 복잡한 실세계 조건 하에서 도로 마킹 세그멘테이션을 위한 소형이고 효율적인 모델을 훈련하는 데 도전한다.
• 기존 지식 정련 방법이 정확한 차선 및 도로 요소 예측에 필수적인 구조적 환경 관계를 전달하는 데 한계를 가진다는 점을 극복한다.
• 대규모 교사 모델에서 유도된 전역적 구조적 사전 지식을 인코딩하고 전달하여 경량 학생 네트워크의 일반화 능력과 강인성을 향상시킨다.
• 다양한 세그멘테이션 작업, 특히 도로 마킹 세그멘테이션을 초과하는 분야에 적용 가능한 일반화 가능하고 아키텍처에 구애받지 않는 정련 프레임워크를 개발한다.

제안 방법

• 교사 및 학생 네트워크의 깊은 특징 맵을 공간적 영역으로 분해하여 그래프의 노드로 구성한다.
• 영역 수준의 특징 분포 통계치 간의 코사인 유사도를 계산하여 상호 영역 유사도 그래프를 구성한다.
• 각 영역에서 통계적 특징(평균, 분산, 왜도)을 추출하기 위해 순간 풀링 연산자를 도입하여 강건한 그래프 표현을 확보한다.
• 학생 네트워크를 교사가 생성한 유사도 그래프의 구조와 일치하도록 훈련시키기 위해 그래프 일致성 손실을 사용한다.
• 상호 영역 유사도 정련 손실을 다른 정련 손실(예: 어텐션 맵 정련)과 조합하여 상호 보완적인 성능 향상을 달성한다.
• 기본 세그멘테이션 헤드와 표준 딥 러닝 훈련 파이프라인을 사용하여 엔드 투 엔드로 방법을 적용하고 최적화한다.

실험 결과

연구 질문

• RQ1 특징 맵이나 소프트맥스 출력 외에 장면 내 영역 간의 구조적 관계를 전달함으로써 지식 정련을 향상시킬 수 있는가?
• RQ2 상호 영역 특징 분포 유사도를 모델링하면 경량 학생 모델의 도로 마킹 세그멘테이션에서 일반화 능력이 향상되는가?
• RQ3 희소 레이블링과 도전적인 시각 조건을 다룰 때 기존 정련 방법에 비해 IntRA-KD는 얼마나 효과적인가?
• RQ4 제안된 방법은 다양한 백본 아키텍처와 세그멘테이션 벤치마크 간에 일반화 가능한가?
• RQ5 그래프 기반 정련 과정에서 성능 향상에 가장 기여하는 요소는 무엇인가?

주요 결과

• ERFNet(2.49M 파라미터)를 사용하여 ApolloScape에서 43.2 mIoU를 달성했으며, 이는 ResNet-101 교사 모델(52.53M 파라미터, 171.2ms)보다 21배 적은 파라미터와 16배 빠른 추론 속도(10.2ms)를 기록한다.
• CULane에서 IntRA-KD는 ERFNet의 F1 스코어를 72.39로 향상시켜 다른 정련 방법을 능가하며, 저조도 및 가림 조건에서도 강인성을 보였다.
• LLAMAS에서 IntRA-KD는 ERFNet을 사용해 0.598 mAP를 달성하여 다양한 도로 환경에서 일관된 성능 향상을 보였다.
• 절단 실험 결과, 상호 영역 유사도 정련과 어텐션 맵 정련을 조합하면 최고의 성능(43.2 mIoU)을 기록했으며, 고수준 특징 정련이 중간 수준 특징 정련보다 더 큰 기여를 했다.
• 손실 계수 설정에 대해 강인하여, {0.05, 0.10, 0.15} 범위의 다양한 하이퍼파rameter 설정에서도 일관된 성능을 유지했다.
• 정성적 결과에서는 ERFNet-IntRA-KD가 얇고 긴 차선 마킹에 대해 더 완전하고 정확한 예측을 생성하며, 더 구조적이고 클래스 구분 능력이 뛰어난 특징 임bedding을 생성하는 것으로 나타났다.