[논문 리뷰] Optimal Transport for Deep Joint Transfer Learning

Ying Lu, Liming Chen외 1명|arXiv (Cornell University)|2017. 09. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 11인용 수 5

한 줄 요약

이 논문은 소스 및 타겟 데이터에서 딥 네ural 네트워크를 공동으로 미세조정하기 위해 최적화 운반(OT) 손실을 사용하여 분류기 예측을 정렬하는 연합 전이 학습 네트워크(JTLN)를 제안한다. 이로 인해 소수의 샘플만으로도 분류 성능이 향상된다. 사용자 정의 가능한 비용 행렬을 통해 사전 지식을 통합함으로써 JTLN은 표준적인 미세조정 및 연합 미세조정보다 더 높은 성능을 보이며, 세분화된 항공기 분류 데이터셋에서 유의미한 성능 향상을 보였다.

ABSTRACT

Training a Deep Neural Network (DNN) from scratch requires a large amount of labeled data. For a classification task where only small amount of training data is available, a common solution is to perform fine-tuning on a DNN which is pre-trained with related source data. This consecutive training process is time consuming and does not consider explicitly the relatedness between different source and target tasks. In this paper, we propose a novel method to jointly fine-tune a Deep Neural Network with source data and target data. By adding an Optimal Transport loss (OT loss) between source and target classifier predictions as a constraint on the source classifier, the proposed Joint Transfer Learning Network (JTLN) can effectively learn useful knowledge for target classification from source data. Furthermore, by using different kind of metric as cost matrix for the OT loss, JTLN can incorporate different prior knowledge about the relatedness between target categories and source categories. We carried out experiments with JTLN based on Alexnet on image classification datasets and the results verify the effectiveness of the proposed JTLN in comparison with standard consecutive fine-tuning. This Joint Transfer Learning with OT loss is general and can also be applied to other kind of Neural Networks.

연구 동기 및 목표

• 관련된 소스 데이터를 활용하여 소수의 샘플 분류 문제에서의 데이터 부족 문제를 해결한다.
• 연속적인 미세조정 방식이 소스 도메인과 타겟 도메인 간의 작업 관련성을 忽시한다는 한계를 극복한다.
• 소스 및 타겟 카테고리 간의 관계를 명시적으로 모델링하는 연합 학습 프레임워크를 개발한다.
• OT 손실 내에서 융통성 있는 비용 행렬을 통해 카테고리 유사성에 대한 사전 지식을 통합할 수 있도록 한다.
• 제안된 방법이 세분화된 이미지 분류 벤치마크에서 효과적임을 입증한다.

제안 방법

• 공통된 특징 추출 기반 구조와 별도의 분류기 헤드를 사용하여 소스 및 타겟 데이터에서 DNN을 공동으로 학습한다.
• 소스 및 타겟 분류기 출력 간의 최적화 운반(OT) 손실을 도입하여 분포의 불일치를 최소화한다.
• 사전 정의된 비용 행렬을 사용하여 길이가 다른 확률 측도를 다룰 수 있도록 워샤르-워셔 손실을 일반화한다.
• 특징(예: fc7 레이어)에서 계산된 다양한 비용 측도—예를 들어 MK-MMD 및 OT 기반 거리—를 사용하여 카테고리 유사성에 대한 사전 지식을 인코딩한다.
• 표준 교차 엔트로피 손실을 두 분류기 모두에 적용하고 OT 손실을 정규화 항으로 사용하여 복합 손실로 네트워크를 학습한다.
• 고정된 초기 레이어와 미세조정된 후속 레이어를 갖는 ImageNet에서 미세조정된 AlexNet에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 표준 연속적인 미세조정과 비교하여 OT 손실을 사용한 연합 미세조정이 소수의 샘플 분류 성능을 향상시키는가?
• RQ2 다양한 비용 행렬을 통해 카테고리 간 유사성에 대한 사전 지식을 통합할 경우 모델 성능에 어떤 영향을 미치는가?
• RQ3 제안된 JTLN 프레임워크는 다양한 신경망 아키텍처와 데이터셋에 일반화되는가?
• RQ4 소스 도메인 크기와 카테고리 겹침 여부가 OT 기반 정렬의 효과성에 어떤 영향을 미치는가?
• RQ5 공통 레이블 공간이 필요 없이도 OT 손실이 소스 및 타겟 분류기 간 격차를 효과적으로 줄일 수 있는가?

주요 결과

• MK-MMD 비용 측도를 사용한 JTLN은 ITL-Airbus 데이터셋에서 표준 연합 미세조정 대비 5%p의 정확도 향상을 보였다(0.5497에서 0.5982로).
• ITL-Boeing 데이터셋에서는 JTLN(fc7MKMMD)가 정확도를 0.5395에서 0.5422로 향상시켰고, JTLN(fc7OT)는 0.5395에서 0.5436으로 향상되었다.
• 더 큰 소스 도메인을 가진 데이터셋(예: 87개 소스 카테고리가 있는 ITL-Airbus)에서는 성능 향상이 더 두드러졌고, 더 작은 도메인(예: 78개 소스 카테고리가 있는 ITL-Boeing)에서는 상대적으로 덜 두드러졌다.
• 연속적인 미세조정은 보잉과 에어버스 데이터셋에서 각각 0.5286과 0.545의 정확도를 기록했으며, 이는 모든 JTLN 변종에 의해 뛰어넘어졌다.
• OT 손실 없이 연합 미세조정을 수행한 결과 정확도는 0.5395와 0.5497였으며, 이는 OT 손실이 연합 학습을 넘어서 추가적인 이점을 제공한다는 것을 보여준다.
• 결과는 OT 손실을 통해 소스-타겟 작업 간의 관련성을 명시적으로 모델링함으로써 인덕티브 전이 학습에서 더 나은 일반화 성능을 달성할 수 있음을 확인한다.