[논문 리뷰] A Hybrid Instance-based Transfer Learning Method

Azin Asgarian, Parinaz Sobhani외 5명|arXiv (Cornell University)|2018. 12. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 12인용 수 7

한 줄 요약

이 논문은 다수의 소스 도메인에서 유용한 지식을 비율적으로 융합하는 확률적 가중 전략을 사용하여, 데이터가 부족한 헬스케어 응용 분야에서 모델의 일반화 능력을 향상시키는 하이브리드 인스턴스 기반 전이 학습 방법을 제안한다. 이 방법은 얼굴 표정 인식 및 부상 예측에서 최신 기준 모델들을 능가하며, F1 점수와 수렴 속도 향상에 있어 뚜렷한 성과를 거두며, 부정적 전이에 대해서도 강건함을 유지한다.

ABSTRACT

In recent years, supervised machine learning models have demonstrated tremendous success in a variety of application domains. Despite the promising results, these successful models are data hungry and their performance relies heavily on the size of training data. However, in many healthcare applications it is difficult to collect sufficiently large training datasets. Transfer learning can help overcome this issue by transferring the knowledge from readily available datasets (source) to a new dataset (target). In this work, we propose a hybrid instance-based transfer learning method that outperforms a set of baselines including state-of-the-art instance-based transfer learning approaches. Our method uses a probabilistic weighting strategy to fuse information from the source domain to the model learned in the target domain. Our method is generic, applicable to multiple source domains, and robust with respect to negative transfer. We demonstrate the effectiveness of our approach through extensive experiments for two different applications.

연구 동기 및 목표

• 헬스케어 응용 분야에서 충분한 데이터를 확보하기 어려운 상황에서 레이블이 부여된 훈련 데이터가 부족한 문제를 해결한다.
• 사전에 이용 가능한 소스 도메인에서의 지식을 전이하여 데이터가 부족한 타겟 도메인에서의 모델 일반화 능력을 향상시킨다.
• 다양한 소스 도메인에 적용 가능한 강건하고 일반적인 전이 학습 방법을 개발하며, 부정적 전이에 저항하도록 한다.
• 비구조적(얼굴 표정 인식) 및 구조적(부상 예측) 데이터 환경에서 기존의 인스턴스 기반 전이 학습 접근법을 능가한다.
• 실제 데이터셋을 사용한 다양한 헬스케어 응용 분야에서의 효과성을 입증한다.

제안 방법

• 이 방법은 타겟 도메인과의 유사성과 소스 샘플이 타겟 작업에서의 효과성에 기반한 하이브리드 가중 전략을 사용한다.
• 중요도 샘플링 원리를 적용하여 기대 오차를 타겟 도메인 손실과 소스 도메인 손실의 가중 조합으로 모델링한다.
• 핵심 식(식 2)은 타겟 및 소스 오차의 가중 합을 최소화하며, 소스 가중치는 타겟과 소스의 확률 밀도 비율에 기반한다.
• 경우의 수에 따라 소스 샘플의 영향력을 점진적으로 조절할 수 있도록 소프트 가중 전략을 사용한다.
• 이 방법은 일반적이며 다수의 소스 도메인을 지원하며, 하이퍼파rameter α가 소스와 타겟 기여도의 전체 균형을 조절한다.
• 이 방법은 구조적 데이터에 대해 XGBoost를, 비구조적 데이터에 대해 딥러닝을 사용하여 평가하며, 성능은 F1 점수, 정확도 및 수렴 속도로 측정된다.

실험 결과

연구 질문

• RQ1 기존 기준 모델들과 비교하여, 하이브리드 인스턴스 기반 전이 학습 방법이 데이터가 부족한 헬스케어 응용 분야에서 모델 성능을 향상시킬 수 있는가?
• RQ2 제안된 확률적 가중 전략은 얼굴 표정 인식에서 수렴성과 피팅 정확도에 어떤 영향을 미치는가?
• RQ3 불균형한 실세계 데이터셋에서, 다수의 소스 도메인에서의 지식을 효과적으로 융합하여 부상 예측 성능을 향상시킬 수 있는가?
• RQ4 소스 도메인과 타겟 도메인이 상당히 다를 경우, 이 방법은 부정적 전이에 얼마나 강건한가?
• RQ5 하이퍼파rameter α가 제어하는 소스와 타겟 도메인 기여도의 최적 균형은 무엇인가?

주요 결과

• 얼굴 표정 인식에서 제안된 하이브리드 모델(A_HW)은 수렴 속도가 높고 피팅 오차가 낮아, 수렴은 높지만 피팅 성능이 열악한 타겟 전용 모델(A_T)보다 뚜렷이 우수한 성능을 보였다.
• 하이브리드 모델은 인스턴스 가중 기준 모델(A_Jena)보다도 우수했으며, A_Jena는 수렴은 향상되었지만 피팅 정확도는 A_T보다 열 劣했다.
• 부상 예측에서 하이브리드 모델(A_HW)은 F1 점수 0.12를 기록하여, 타겟 전용 모델(A_T, F1 점수 0.06)과 소스 전용 모델(A_S, F1 점수 0.07)보다 뚜렷한 향상을 보였다.
• 하이브리드 모델은 F1 점수 향상을 이끌어내며 높은 분류 정확도(97%)를 유지했으며, F1 점수 0.08을 기록한 유니온 모델(A_S∪T)보다 뛰어났다.
• 모델 분석 결과 A_HW는 38개의 특징 중 23개를 사용했으며, A_T가 사용하지 않은 10개의 추가 특징도 활용함으로써 데이터가 희소한 환경에서 더 나은 특징 활용 능력을 보였다.
• 하이브리드 모델의 최적 하이퍼파rameter α는 0.7에서 0.9 사이로 확인되었으며, α를 더 높이거나 낮추면 성능이 떨어졌다.