[논문 리뷰] Probabilistic Knowledge Transfer for Deep Representation Learning.

Nikolaos Passalis, Anastasios Tefas|arXiv (Cornell University)|2018. 03. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 9

한 줄 요약

이 논문은 분류 작업을 넘어서 효과적인 전이를 가능하게 하기 위해 학생 표현과 알려지지 않은 레이블 간의 상호정보를 유지하는 확률적 지식 전이 방법을 제안한다. 지식을 표현에 대한 확률적 분포로 모델링함으로써, 이 방법은 텍스트에서 시각으로의 다중모odal 전이를 포함한 다양한 응용 분야를 지원하며, 표현 학습 시나리오에서 기존 기법들을 능가한다.

ABSTRACT

Knowledge Transfer (KT) techniques tackle the problem of transferring the knowledge from a large and complex neural network into a smaller and faster one. However, existing KT methods are tailored towards classification tasks and they cannot be used efficiently for other representation learning tasks. In this paper a novel knowledge transfer technique, that is capable of training a student model that maintains the same amount of mutual information between the learned representation and a set of (possible unknown) labels as the teacher model, is proposed. Apart from outperforming existing KT techniques, the proposed method allows for overcoming several limitations of existing methods providing new insight into KT as well as novel KT applications, ranging from knowledge transfer from handcrafted feature extractors to {cross-modal} KT from the textual modality into the representation extracted from the visual modality of the data.

연구 동기 및 목표

• 기존 지식 전이 방법의 한계를 해결하기 위해, 주로 분류 작업에 특화되어 있으며 일반 표현 학습 작업에서는 실패하는 점을 개선한다.
• 교사 모델과 동일한 상호정보를 유지하면서 학생 표현과 잠재 레이블 간의 상호정보를 유지하는 지식 전이 기법을 개발한다.
• 수동적인 특징 추출기에서부터 다양한 모odal 간(예: 텍스트에서 시각 표현으로)의 지식 전이를 가능하게 한다.
• 제로샷, 자기지도 학습 및 대비 학습 표현 학습에 적용 가능한 통합된 지식 전이 프레임워크를 제공한다.
• 지식 전이 문제를 확률적 정보 보존 문제로 재정의함으로써 기존 방법의 단점을 극복하고 새로운 통찰을 제공한다.

제안 방법

• 이 방법은 지식 전이를 표현에 대한 확률적 분포로 모델링하여, 학생이 자신의 표현과 잠재 레이블 간의 상호정보를 유지하도록 보장한다.
• 지식 정제를 변분 추론 문제로 공식화하여, 교사와 학생의 표현 분포 간의 KL 발산을 최적화한다.
• 학생 네트워크는 예측 불확실성과 교사의 표현 분포를 따라가도록 훈련되며, 상호정보 최대화 목표를 사용한다.
• 이 방법은 대비 학습 및 자기지도 사전학습과 같은 다양한 표현 학습 목표와 호환되며 모듈러하다.
• 수동적인, 수작업으로 만든 특징(예: SIFT)의 출력을 확률적 분포로 모델링함으로써, 이들을 딥 학생 네트워크로 전이할 수 있다.
• 공유된 잠재 공간을 통해 텍스트 표현과 시각 표현의 확률적 분포를 정렬함으로써 다중모달 전이를 달성한다.

실험 결과

연구 질문

• RQ1 지식 전이가 분류 작업을 넘어서 다른 표현 학습 목표로 일반화될 수 있는가?
• RQ2 지식 정제 과정에서 표현과 레이블 간의 상호정보를 어떻게 유지할 수 있는가?
• RQ3 수작업 특징에서 딥 신경망으로 효과적인 지식 전이가 가능한가?
• RQ4 통합된 확률적 프레임워크를 사용하여 텍스트 표현에서 시각 표현으로의 다중모달 지식 전이가 가능한가?
• RQ5 자기지도 학습 및 대비 학습 환경에서 현재의 지식 전이 방법의 한계는 무엇인가?

주요 결과

• 제안된 방법은 자기지도 학습 및 대비 학습 설정을 포함한 표현 학습 벤치마크에서 기존 지식 전이 기법들을 능가한다.
• SIFT와 같은 수작업 특징에서 딥 학생 네트워크로의 지식 전이가 성공적으로 수행되어, 후속 작업에서 경쟁적인 성능을 달성한다.
• 이 방법은 효과적인 다중모달 지식 전이를 가능하게 하여, 텍스트 인코더에서 시각 표현 모델로 지식을 전이할 수 있다.
• 상호정보를 유지함으로써, 학습 중에 레이블이 알려지지 않거나 가용하지 않더라도 학생 모델이 강력한 일반화 능력을 유지한다.
• 확률적 공식화 덕분에 이 방법은 다양한 아키텍처와 사전학습 목표에 대해 민첩하게 적용될 수 있다.
• 실험 결과는 표준 정제 및 기타 최첨단 지식 전이 기준 대비 더 높은 후속 작업 정확도와 표현 품질을 보여준다.