[논문 리뷰] Student Becoming the Master: Knowledge Amalgamation for Joint Scene Parsing, Depth Estimation, and More

Jingwen Ye, Yixin Ji외 4명|arXiv (Cornell University)|2019. 04. 23.

Advanced Vision and Imaging참고 문헌 23인용 수 10

한 줄 요약

이 논문은 인간 레이블이 없는 데이터를 사용하여, 사전 훈련된 작업별 전용 교사 모델 두 개로부터 지식을 통합함으로써, 단일 경량 학생 모델이 동시에 환경 분석과 깊이 추정을 수행하도록 훈련하는 새로운 지식 통합 프레임워크를 제안한다. 이 방법은 블록 단위 훈련 전략을 사용하여 학생의 특징을 각 교사의 도메인에 투영하여 손실를 계산함으로써, 학생이 성능 면에서 두 교사 모두를 뛰어넘으면서도 훨씬 더 작게 유지할 수 있도록 한다.

ABSTRACT

In this paper, we investigate a novel deep-model reusing task. Our goal is to train a lightweight and versatile student model, without human-labelled annotations, that amalgamates the knowledge and masters the expertise of two pretrained teacher models working on heterogeneous problems, one on scene parsing and the other on depth estimation. To this end, we propose an innovative training strategy that learns the parameters of the student intertwined with the teachers, achieved by 'projecting' its amalgamated features onto each teacher's domain and computing the loss. We also introduce two options to generalize the proposed training strategy to handle three or more tasks simultaneously. The proposed scheme yields very encouraging results. As demonstrated on several benchmarks, the trained student model achieves results even superior to those of the teachers in their own expertise domains and on par with the state-of-the-art fully supervised models relying on human-labelled annotations.

연구 동기 및 목표

• 인간 레이블이 없는 데이터에 접근할 수 없는 상황에서 이질적인 사전 훈련된 교사 모델들로부터 지식을 통합하여 경량이며 다용도인 학생 모델을 훈련하는 방법을 개발하는 것.
• 장면 분석과 깊이 추정과 같이 서로 다른 작업에 특화된 교사들이 존재하는 교차 도메인 환경에서 지식 희석의 과제를 해결하는 것.
• 학습 전략을 설계하여 학생 모델이 다수의 교사와 얽히는 매개변수를 학습할 수 있도록 하여, 개별 교사의 능력을 뛰어넘는 성능 향상을 이끌어내는 것.
• 표면 법선 추정과 같은 세 개 이상의 이질적인 작업으로의 일반화를 위해, 오프라인 및 온라인 다중교사 전략을 사용하는 방법을 확장하는 것.

제안 방법

• 학습자가 각 교사의 특징 공간에 학생의 특징을 투영하여 손실를 계산함으로써, 두 교사와의 동시 최적화를 가능하게 하는 블록 단위 훈련 전략이 도입된다.
• 학습자의 특징이 교사의 도메인으로 '투영'되어 전달된 특징을 생성하고, 이를 바탕으로 해당 교사의 손실를 계산함으로써, 학생이 두 교사의 출력과 효과적으로 정렬되도록 한다.
• 이 방법은 교사 모델들이 동일한 아키텍처를 공유한다고 가정하여, 서로 다른 작업 간의 특징 공간 정렬과 지식 전달이 가능하도록 한다.
• 다중 작업 지식 통합을 위한 두 가지 일반화 전략이 제안된다: 사전에 지식 전달를 계산하는 오프라인 방법과 훈련 중에 동적으로 적응하는 온라인 방법.
• 학습자는 레이블이 없는 이미지를 사용하여 엔드 투 엔드로 훈련되며, 손실는 두 교사의 도메인에 특징을 투영함으로써 계산되어, 학생이 동시에 두 도메인의 지식을 학습하도록 보장한다.
• 이 접근은 NYUDv2 및 Cityscapes 데이터셋에서 검증되었으며, 교사로는 SegNet, DepthNet, NormNet을 사용하였고, 학생 네트워크는 교사의 앙상블보다 훨씬 작게 설계되었다.

실험 결과

연구 질문

• RQ1 인간 레이블이 없는 데이터를 사용하여, 장면 분석과 깊이 추정과 같은 서로 다른 비전 작업에 특화된 두 개의 사전 훈련된 교사 모델보다 효과적으로 학습하고 성능을 뛰어넘는 단일 경량 학생 모델을 설계할 수 있는가?
• RQ2 다른 작업 목표를 가진 이질적인 교사들로부터의 지식를 어떻게 효과적으로 단일 학생 모델에 통합할 수 있는가?
• RQ3 장면 분석과 깊이 추정과 같은 서로 다른 도메인 간의 지식 전달이, 각 교사가 달성하는 성능을 뛰어넘는 성능 향상을 이끌어낼 수 있는가?
• RQ4 제안된 지식 통합 전략을 장면 분석, 깊이 추정, 표면 법선 추정과 같은 세 개 이상의 이질적 작업으로 일반화할 수 있는가?
• RQ5 감독 없이 훈련된 학생 모델의 성능가 교사들이 각각의 도메인에서 달성하는 성능을 얼마나 뛰어넘는가?

주요 결과

• 장면 분석에 대해 NYUDv2에서 학생 모델은 mIOU 0.459를 기록하여 교사의 mIOU 0.448를 초월한다.
• 깊이 추정에 대해 학생 모델은 절대 상대 오차(abs rel) 0.243을 기록하여 교사의 0.287을 뛰어넘는다.
• Cityscapes 데이터셋에서 학생 모델은 장면 분석에 대해 평균 IOU 0.535, 깊이 추정에 대해 0.510을 기록하여 각각 교사의 0.521과 0.289를 초월한다.
• 약 2800만 개의 파라미터를 가진 학생 모델은 인간 레이블이 있는 데이터를 사용하는 최신의 완전 감독 모델과 유사한 성능을 달성하며, 그보다 훨씬 더 큰 파라미터 수를 가진다.
• 장면 분석, 깊이 추정, 표면 법선 추정의 세 가지 작업으로 확장했을 때, 표면 법선 정보의 상호 보완성 덕분에 특히 깊이 추정 성능이 향상된다.
• 제안된 방법은 교사 앙상블의 약 절반 크기인 학생 모델이 각각의 도메인에서 교사보다 뛰어난 성능을 내도록 하여, 교차 도메인 지식 통합의 효과성을 입증한다.