[논문 리뷰] Knowledge Adaptation: Teaching to Adapt

Sebastian Ruder, Parsa Ghaffari외 1명|arXiv (Cornell University)|2017. 02. 07.

Topic Modeling참고 문헌 29인용 수 41

한 줄 요약

이 논문은 지식 정착(Knowledge Adaptation)을 소개한다. 이는 지식 정착(Knowledge Distillation)을 도메인 적응 설정으로 확장하여, 원천 데이터 재학습 없이도 딥러닝 모델이 새로운 도메인에 적응할 수 있도록 하는 새로운 비지도 도메인 적응 방법이다. 신뢰도 기반 메트릭을 사용해 신뢰할 수 있는 교사 예측을 식별하고, 고신뢰도 예시를 통합함으로써 학생 모델은 감성 분석 벤치마크에서 기존 방법보다 우수한 성능을 달성한다. 특히 단일 도메인 및 다중 도메인 설정 모두에서 공동 학습 없이도 최신 기술(SOTA)을 초월한다.

ABSTRACT

Domain adaptation is crucial in many real-world applications where the distribution of the training data differs from the distribution of the test data. Previous Deep Learning-based approaches to domain adaptation need to be trained jointly on source and target domain data and are therefore unappealing in scenarios where models need to be adapted to a large number of domains or where a domain is evolving, e.g. spam detection where attackers continuously change their tactics. To fill this gap, we propose Knowledge Adaptation, an extension of Knowledge Distillation (Bucilua et al., 2006; Hinton et al., 2015) to the domain adaptation scenario. We show how a student model achieves state-of-the-art results on unsupervised domain adaptation from multiple sources on a standard sentiment analysis benchmark by taking into account the domain-specific expertise of multiple teachers and the similarities between their domains. When learning from a single teacher, using domain similarity to gauge trustworthiness is inadequate. To this end, we propose a simple metric that correlates well with the teacher's accuracy in the target domain. We demonstrate that incorporating high-confidence examples selected by this metric enables the student model to achieve state-of-the-art performance in the single-source scenario.

연구 동기 및 목표

• 실제 응용에서 타겟 도메인의 레이블이 부족하거나 가용하지 않은 상황에서 도메인 이동 문제를 해결하기 위해.
• 원천 데이터와 타겟 데이터를 함께 학습이 필요한 기존 딥러닝 기반 도메인 적응 방법의 한계를 극복하기 위해. 이러한 방법들은 대규모 또는 변화하는 도메인에서는 실용적이지 않다.
• 도메인 특화된 신뢰도 기반으로 교사 예측을 선택적으로 신뢰하는 학생 모델을 통해 사전 학습된 원천 모델에서 새로운 타겟 도메인으로 지식을 효과적으로 전이하기 위해.
• 변화하는 환경(예: 스팸 검출 또는 변화하는 사용자 커뮤니케이션 스타일)과 같은 동적 환경에 적합한 확장 가능한 비지도 적응 프레임워크를 개발하기 위해.

제안 방법

• 원천 도메인에서 학습된 교사 모델로부터 학생 모델이 학습하는 도메인 적응 설정으로 지식 정착을 확장한 지식 적응을 제안한다.
• 교사의 예측이 타겟 도메인에서 얼마나 신뢰할 수 있는지 평가하기 위해 MCD(최대 신뢰도 불일치)라는 메트릭을 도입한다. 이 메트릭은 실제 정확도와 잘 상관되어 있다.
• MCD 메트릭을 통해 선별된 고신뢰도 예측을 의사라벨 예시로 사용하여 학생 모델을 훈련한다.
• 비라벨 타겟 데이터에 대한 교차 엔트로피 손실과 교사로부터의 지식 정착 손실을 가중 조합하여 학생 모델을 훈련한다.
• 다중 도메인 설정에서는 다수의 교사로부터 온 기여도를 도메인 유사도를 기반으로 가중하여, 다양한 도메인 간 일반화 능력을 향상시킨다.
• 단일 도메인 적응에서는 공동 학습을 피하기 위해 사전 학습된 교사 모델과 예측의 신뢰도 기반 필터링에 의존한다.

실험 결과

연구 질문

• RQ1 원천 데이터와 타겟 데이터를 함께 학습하지 않아도 지식 정착을 비지도 도메인 적응에 효과적으로 적용할 수 있는가?
• RQ2 다른 교사가 존재하지 않을 경우 학생 모델은 단일 교사의 예측 중 어떤 것이 신뢰할 수 있는지 어떻게 판단할 수 있는가?
• RQ3 타겟 도메인에서 교사 정확도와 상관관계가 높은 신뢰도 기반 메트릭이 적응 성능을 향상시킬 수 있는가?
• RQ4 교사가 생성한 고신뢰도 의사라벨을 통합하면 모든 교사 예측에 의존하는 것보다 성능이 향상되는가?
• RQ5 지식 적응은 다중 도메인 및 단일 도메인 적응 시나리오에서 모두 기존 최신 기술을 초월할 수 있는가?

주요 결과

• 지식 적응을 통해 훈련된 학생 모델은 감성 분석 벤치마크에서 원천 데이터 재학습 없이도 12개의 단일 도메인 적응 쌍 중 8개에서 최신 기술을 초월한다.
• 다중 도메인 설정에서는 다수의 도메인 특화 교사의 예측을 조합하고 도메인 유사도를 기반으로 기여도를 가중함으로써 기준 방법 및 교사 전용 모델보다 뚜렷이 뛰어난 성능을 기록한다.
• 교사의 타겟 도메인에서의 정확도와 강하게 상관관계가 있는 MCD 메트릭을 통해 교사의 신뢰도를 측정할 수 있으며, 이는 고신뢰도 예시의 신뢰성 있는 선별을 가능하게 한다.
• 단일 도메인 설정에서 성능을 최적화하기 위해 MCD 점수 상위 500개의 비라벨 타겟 예제를 의사 supervision 훈련에 사용할 경우가 가장 우수한 성능을 낸다.
• 이 방법은 사전 학습된 교사 모델에 의존하고 원천 데이터 재학습을 피하기 때문에 다중 도메인 및 단일 도메인 비지도 도메인 적응에서 모두 최신 기술 성능을 달성한다.
• 스팸 검출이나 사용자 기반 대화형 에이전트와 같은 변화하거나 수많은 도메인이 존재하는 실세계 응용에 대해 확장성과 실용성을 입증한다.