[논문 리뷰] Customizing Student Networks From Heterogeneous Teachers via Adaptive Knowledge Amalgamation

Chengchao Shen, Mengqi Xue외 4명|arXiv (Cornell University)|2019. 08. 20.

Domain Adaptation and Few-Shot Learning참고 문헌 36인용 수 10

한 줄 요약

이 논문은 인간의 레이블이 없는 조건에서 이질적인 사전 훈련된 교사 모델들로부터 다중 작업 학습자 네트워크를 맞춤형으로 설계하기 위해 双단계 적응형 지식 통합 방법을 제안한다. 작업 겹침이 있는 교사들을 클러스터링하고, 모듈러한 구성 요소 네트워크를 학습하며, 전이 브리지에 의해 각 샘플당 가장 모호성이 낮은 교사로부터 특징과 예측을 선택적으로 흡수함으로써, 학습자 네트워크는 세분화된 특성 인식 작업에서 개별 교사들보다 뛰어난 성능을 달성한다.

ABSTRACT

A massive number of well-trained deep networks have been released by developers online. These networks may focus on different tasks and in many cases are optimized for different datasets. In this paper, we study how to exploit such heterogeneous pre-trained networks, known as teachers, so as to train a customized student network that tackles a set of selective tasks defined by the user. We assume no human annotations are available, and each teacher may be either single- or multi-task. To this end, we introduce a dual-step strategy that first extracts the task-specific knowledge from the heterogeneous teachers sharing the same sub-task, and then amalgamates the extracted knowledge to build the student network. To facilitate the training, we employ a selective learning scheme where, for each unlabelled sample, the student learns adaptively from only the teacher with the least prediction ambiguity. We evaluate the proposed approach on several datasets and experimental results demonstrate that the student, learned by such adaptive knowledge amalgamation, achieves performances even better than those of the teachers.

연구 동기 및 목표

• 사람의 레이블 데이터에 접근할 수 없는 조건에서 이질적인 사전 훈련된 교사 모델들로부터 작고 다중 작업을 수행하는 학습자 네트워크를 맞춤형으로 설계하는 것을 목적으로 한다.
• 다양하고 상호 겹치거나 단일 작업만을 수행하는 교사들로부터의 지식 융합 문제를 해결하여, 작업별 지식을 유지하고 갈등하는 지도를 피하는 것을 목적으로 한다.
• 각 샘플에 대해 가장 신뢰할 수 있는 교사를 적응적으로 선택하는 선택적 학습 메커니즘을 개발하여 노이즈를 줄이고 훈련의 안정성을 향상시키는 것을 목적으로 한다.
• 중간 구성 요소 네트워크를 생성함으로써 모듈성과 재사용성을 향상시키고, 다양한 사용자 정의 작업 조합에 대해 탄력적으로 조합할 수 있도록 하는 것을 목적으로 한다.
• 효과적인 지식 융합을 통해 학습자 네트워크가 개별 교사들보다 성능이 뛰어나게 되는지를 입증하는 것을 목적으로 한다.

제안 방법

• 이 방법은 이중단계 지식 통합 프로세스를 사용한다: 첫 번째 단계에서는 공유된 작업에 따라 소스 네트워크를 클러스터링하고, 단일 작업용 구성 요소 네트워크를 훈련한다. 두 번째 단계에서는 이러한 구성 요소 네트워크를 최종 다중 작업 대상 네트워크로 통합한다.
• 각 레이블이 없는 입력 샘플에 대해, 학습자는 예측의 모호성이 가장 낮은(출력 확률 분포의 엔트로피가 가장 낮은) 교사를 적응적으로 선택하여 학습한다.
• 지식 흡수는 최종 예측 뿐 아니라, 차원을 정렬하고 블록 단위의 특징 전달을 가능하게 하는 전용 전이 브리지 모듈을 통해 중간 특징 맵에도 적용된다.
• 전이 브리지 모듈은 선택된 교사로부터 학습자가 작업에 관련된 중간 표현을 배울 수 있도록 보장하여, 로짓만을 대상으로 하는 흡수를 넘어서 특징 수준의 지도를 향상시킨다.
• 선택적 학습 전략은 각 샘플에 대해 가장 자신감 있는 교사를 동적으로 할당함으로써, 낮은 신뢰도 또는 잘못 정렬된 교사들로부터의 부정적 전이 위험을 줄인다.
• 이 접근법은 여러 세분화된 데이터셋에서 평가되었으며, 제거 실험을 통해 전이 브리지와 교사 선택 구성 요소의 효과성을 확인하였다.

실험 결과

연구 질문

• RQ1 사람의 레이블이 없는 조건에서 이질적인 교사들로부터 효과적으로 학습자 네트워크를 훈련시킬 수 있으며, 사용자 정의 작업에서 개별 교사들보다 성능이 뛰어나게 할 수 있는가?
• RQ2 직접 모든 교사를 하나의 학습자에 통합하는 단일 스텝 접근 방식에 비해, 이중단계 지식 통합 전략은 어떻게 비교되는가?
• RQ3 각 샘플당 가장 모호성이 낮은 교사를 선택하는 선택적 학습 전략이 학습자 네트워크의 성능과 내성에 어떤 영향을 미치는가?
• RQ4 중간 특징을 정렬하는 전이 브리지가 표준 지식 흡수에 비해 지식 전달을 얼마나 향상시키는가?
• RQ5 첫 번째 단계에서 생성된 구성 요소 네트워크는 다양한 다중 작업 학습자 모델을 탄력적으로 구성하는 데 재사용될 수 있는가? 이는 모듈성과 맞춤형 설계를 어떻게 향상시키는가?

주요 결과

• 이중단계 통합 방법은 단일 스텝 접근 방식을 항상 능가하며, CelebA 데이터셋에서 'Black Hair'에 대해 87.6%의 정확도와 'Blond Hair'에 대해 95.1%의 정확도를 기록하여, 단일 스텝 설정의 85.6%와 86.1%를 상회한다.
• 전이 브리지 모듈의 포함으로 인해 다양한 특성에서 0.4–0.6%p의 성능 향상이 이루어졌으며, 이는 특징 수준의 지도의 가치를 입증한다.
• 교사 선택 기반의 학습 전략은 이를 포함하지 않은 지식 흡수 대비 0.2–0.4%p의 성능 향상을 이끌어내어, 잘못된 지시를 줄이는 데서의 역할을 확인한다.
• 교사 수가 많아질수록 성능 향상이 이루어진다: CelebA에서 소스 넷의 수를 늘릴수록 'arched eyebrows'와 'high cheekbones'에 대해 더 좋은 결과를 얻었으며, 효과적인 지식 보완성이 입증되었다.
• 학습자 네트워크는 모든 개별 교사들보다 목표 작업에서 뛰어난 성능을 달성하여, 성공적인 지식 통합과 일반화 능력을 입증한다.
• 제거 실험을 통해 전이 브리지와 선택적 학습이 필수 구성 요소임을 확인하였으며, 전체 모델은 변형된 모델들보다 평균 0.4–0.6점 높은 성능을 기록하였다.