[논문 리뷰] Cross-Domain Few-Shot Learning by Representation Fusion

Thomas Adler, J. Brandstetter외 6명|arXiv (Cornell University)|2020. 10. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 94인용 수 23

한 줄 요약

이 논문은 깊이 있는 신경망의 다수의 추상화 수준에서의 표현을 허브형 학습자 앙상블을 통해 융합하는 CHEF라는 교차 도메인 Few-shot 학습 방법을 제안한다. 백본을 통해 역전파하지 않으면서도 저수준과 고수준 특징을 모두 활용함으로써, 큰 도메인 이동이 있는 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 실세계 약물 발굴 독성 예측 작업에서 전통적 방법보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

In order to quickly adapt to new data, few-shot learning aims at learning from few examples, often by using already acquired knowledge. The new data often differs from the previously seen data due to a domain shift, that is, a change of the input-target distribution. While several methods perform well on small domain shifts like new target classes with similar inputs, larger domain shifts are still challenging. Large domain shifts may result in high-level concepts that are not shared between the original and the new domain, whereas low-level concepts like edges in images might still be shared and useful. For cross-domain few-shot learning, we suggest representation fusion to unify different abstraction levels of a deep neural network into one representation. We propose Cross-domain Hebbian Ensemble Few-shot learning (CHEF), which achieves representation fusion by an ensemble of Hebbian learners acting on different layers of a deep neural network. Ablation studies show that representation fusion is a decisive factor to boost cross-domain few-shot learning. On the few-shot datasets miniImagenet and tieredImagenet with small domain shifts, CHEF is competitive with state-of-the-art methods. On cross-domain few-shot benchmark challenges with larger domain shifts, CHEF establishes novel state-of-the-art results in all categories. We further apply CHEF on a real-world cross-domain application in drug discovery. We consider a domain shift from bioactive molecules to environmental chemicals and drugs with twelve associated toxicity prediction tasks. On these tasks, that are highly relevant for computational drug discovery, CHEF significantly outperforms all its competitors. Github: https://github.com/ml-jku/chef

연구 동기 및 목표

• 소스 도메인과 타겟 도메인 간에 고수준 개념이 다를 수 있지만 저수준 특징(예: 선, 질감)은 공유되는 큰 도메인 이동이 존재하는 Few-shot 학습 문제에 대응하기 위해.
• 원래 학습 데이터에 접근할 수 없을 경우, 특히 데이터 개인정보 보호 또는 지적 재산권 제약 조건에서 사전에 학습된 모델을 효과적으로 활용할 수 있는 방법을 개발하기 위해.
• 깊이 있는 신경망에서 다수의 추상화 수준을 통합하여 단일이고 강력한 표현으로 통합함으로써, 다양한 도메인 간의 Few-shot 일반화 성능을 향상시키기 위해.
• 실세계 응용 분야에서 표현 융합의 효과성을 입증하기 위해, 특히 레이블 데이터가 제한된 계산 기반 약물 발굴 분야에서의 독성 예측에 중점을 두기 위해.

제안 방법

• 사전에 학습된 깊이 있는 신경망의 다양한 레이어에 대해 훈련된 허브형 학습자 앙상블을 사용하여, 다양한 추상화 수준에서 표현을 추출하고 융합한다.
• 표현 융합은 특히 버티브 레이어를 포함한 다수의 레이어에서 유래한 특징을 통합하여, 저수준과 고수준 의미를 모두 포괄하는 통합 표현을 생성한다.
• 허브형 학습자는 백본을 통해 역전파하지 않도록 빠르고 적응형 방식으로 훈련되며, 새로운 도메인에 대한 효율적 적응이 가능하다.
• 이 방법은 표준 Few-shot 벤치마크(mini-ImageNet, tiered-ImageNet)뿐 아니라, 약물 발굴에서의 독성 예측과 같은 실세계 교차 도메인 작업에도 적용된다.
• 분자의 경우, ChEMBL20에서 사전에 학습된 완전 연결 네트워크를 Tox21 데이터에 대해 표현 융합을 통해 미세조정하며, ECFP6 지문을 입력 특징으로 사용한다.
• 성능 평가는 12개의 독성 예측 작업에 걸쳐 ROC-AUC를 사용하여 평가되며, 정확도를 확보하기 위해 100개의 랜덤 훈련/테스트 분할을 시행한다.

실험 결과

연구 질문

• RQ1 다양한 추상화 수준에서의 표현 융합이 큰 도메인 이동 조건에서 Few-shot 일반화 성능을 향상시킬 수 있는가?
• RQ2 다른 네트워크 레이어에 적용된 허브형 학습자를 사용함으로써, 백본을 미세조정하지 않고도 효과적인 교차 도메인 적응이 가능한가?
• RQ3 도메인 이동 심각도가 증가함에 따라 CHEF는 최신 기술 수준(SOTA) 방법과 비교해 어떻게 성능을 발휘하는가?
• RQ4 CHEF는 레이블 데이터가 제한된 실세계 고영향 응용 분야, 특히 약물 발굴에서의 독성 예측에 일반화될 수 있는가?

주요 결과

• CHEF는 교차 도메인 Few-shot 학습 벤치마크의 모든 카테고리에서 새로운 최신 기술 수준(SOTA) 성능을 달성하였으며, 특히 큰 도메인 이동 조건에서 뛰어난 성능을 보였다.
• Tox21 데이터 챌린지에서 CHEF는 12개의 독성 예측 작업 평균 ROC-AUC가 0.76 ± 0.02를 기록하였으며, SVM(0.66 ± 0.03)과 랜덤 포레스트(0.64 ± 0.03)를 크게 앞서며, 대응 Wilcoxon 검정에서 p < 10^-17의 유의미한 차이를 보였다.
• 제거 실험 결과는 표현 융합이 성능 향상의 결정적 요인임을 확인하였으며, 특히 고수준 개념이 공유되지 않는 도메인 이동 상황에서의 성능 향상에 기여하였다.
• CHEF는 ChEMBL20와 Tox21 데이터셋 간의 상당한 입력 및 레이블 분포 이동에도 불구하고, 분자의 구조에 대해 Jaccard 지수 0.01을 기록하며 실세계 약물 발굴 작업에 성공적으로 적응하였다.
• 이 방법은 백본 네트워크를 통해 역전파가 필요 없어, 고성능을 유지하면서도 빠르고 효율적인 적응이 가능하다.