[논문 리뷰] Learning Deep Representations with Probabilistic Knowledge Transfer

Nikolaos Passalis, Anastasios Tefas|arXiv (Cornell University)|2018. 03. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 10

한 줄 요약

이 논문은 특성 공간 내 데이터의 확률 분포를 매칭함으로써 교사의 출력을 회귀하는 대신 지식을 전달하는 새로운 지식 정련 방법인 확률적 지식 전달(PKT)을 제안한다. PKT는 수동 기반 특징, 다중 모odal 전이(텍스트-시각), 객체 검출기에서의 지식 전이를 포함한 다양한 작업에서 기존 방법들을 능가하며, PASCAL VOC 2007과 VOC 2012에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Knowledge Transfer (KT) techniques tackle the problem of transferring the knowledge from a large and complex neural network into a smaller and faster one. However, existing KT methods are tailored towards classification tasks and they cannot be used efficiently for other representation learning tasks. In this paper a novel knowledge transfer technique, that is capable of training a student model that maintains the same amount of mutual information between the learned representation and a set of (possible unknown) labels as the teacher model, is proposed. Apart from outperforming existing KT techniques, the proposed method allows for overcoming several limitations of existing methods providing new insight into KT as well as novel KT applications, ranging from knowledge transfer from handcrafted feature extractors to {cross-modal} KT from the textual modality into the representation extracted from the visual modality of the data.

연구 동기 및 목표

• 분류 작업에 주로 최적화된 기존 지식 전달(KT) 방법의 한계를 해결하기 위해, 표현 학습 작업으로의 일반화가 어려운 점을 해결한다.
• 현재 KT 기법이 서로 다른 아키텍처나 차원을 가진 모델 간에 지식을 전달하지 못하는 문제를 해결하며, 특히 분류가 아닌 시나리오에서도 유연하게 적용 가능하도록 한다.
• 손실된 레이블 데이터에 의존도를 줄이고, 비정렬 데이터를 활용하기 위해 수동 특징 추출기(예: SIFT, HoG)에서 딥 네트워크로의 효과적인 지식 전달을 가능하게 한다.
• 텍스트적 특성에서 시각적 특징 추출기로의 다중 모달 지식 전달을 가능하게 하여 다중 모달 학습에서의 성능을 향상시킨다.
• 강력한 객체 검출기(예: YOLOv2)에서 더 작은 경량 검출기(예: Tiny YOLO)로 직접 지식 전달을 가능하게 하여 ImageNet 사전 학습 없이도 정확도를 향상시킨다.

제안 방법

• 특성 공간 내 데이터 샘플 간 상호작용을 가우시안 커널을 사용하여 쌍별 유사도로 표현하는 확률 분포로 모델링한다.
• 교사 및 학생 네트워크의 특성 공간 내 확률 분포 간 Kullback-Leibler(KL) 발산을 최소화하는 방식으로 지식 전달을 공식화한다.
• 교사의 출력 로짓을 회귀하는 대신, 학생 네트워크가 교사의 특성 표현 분포를 매칭하도록 훈련한다.
• 최종 분류 레이어가 아닌 중간 특징 표현에 초점을 맞추어 다양한 아키텍처와 모달 간에 방법을 적용한다.
• 안정성을 확보하기 위해 대칭 KL 발산을 사용하며, 교사와 학생의 레이어 차원이나 네트워크 구조가 다를 경우에도 적용 가능하도록 한다.
• 수동 모델(예: HoG)에서의 전이를 가능하게 하기 위해, 그들의 특성 공간을 확률 분포로 모델링하고 학생의 분포와 매칭한다.

실험 결과

연구 질문

• RQ1 기존 지식 전달 기법은 분류 작업 이외의 표현 학습 작업에 효과적으로 적용될 수 있는가?
• RQ2 특성 공간의 기하학적 구조(예: 다양체, 局소 유사성)를 직접 모델링하고 매칭함으로써 지식 전달 성능을 향상시킬 수 있는가?
• RQ3 제한된 레이블 데이터에서 성능 향상을 위해 수동 특징 추출기(예: SIFT, HoG)에서 딥 네트워크로의 지식 전달이 가능한가?
• RQ4 텍스트적 특성에서 시각적 표현으로의 지식 전달이 다중 모달 학습에서 효과적으로 이루어질 수 있는가?
• RQ5 강력한 객체 검출기(예: YOLOv2)에서 더 작은 경량 검출기(예: Tiny YOLO)로 직접 지식 전달이 가능하여 ImageNet 사전 학습이 필요 없도록 할 수 있는가?

주요 결과

• PKT는 2×2 HoG 특징에서 학생 네트워크로 지식 전달 시 PASCAL VOC 2007에서 26.84% mAP를 달성하여 힌트 기반 방법(16.40% mAP)보다 뚜렷이 뛰어나다.
• 텍스트적 특성에서 시각적 특징으로의 다중 모달 지식 전이에서, PKT는 기준 힌트 기반 방법 대비 mAP에서 80% 이상의 상대적 향상을 기록했다.
• PASCAL VOC 2007에서 PKT는 객체 검출 작업에서 44.14% mAP를 달성하여 무작위 초기화 모델(18.39% mAP)과 ImageNet 사전 학습 기반 기준 모델(38.02% mAP)을 모두 능가했다.
• PKT는 YOLOv2 객체 검출기(29번째 레이어)에서 더 작은 Tiny YOLO 모델(13번째 레이어)로 직접 지식 전달을 가능하게 하여 ImageNet 사전 학습 없이도 뛰어난 성능을 달성했다.
• 수동 특징 전이, 다중 모달 전이, 객체 검출기 간 전이 등 다양한 설정에서 뛰어난 성능을 보이며 기존 KT 기법들을 일관되게 능가했다.
• 특성 공간의 내재 기하학적 구조를 확률 분포로 모델링함으로써, 출력 기반 정련 방법보다 국소적 구조와 유사성 관계를 더 효과적으로 유지했다.