[논문 리뷰] DT-LET: Deep Transfer Learning by Exploring where to Transfer

Jianzhe Lin, Qi Wang외 2명|arXiv (Cornell University)|2018. 09. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 24인용 수 6

한 줄 요약

DT-LET는 서로 다른 아키텍처를 가진 소스 도메인 및 타겟 도메인 네트워크 간의 최적의 층 간 대응 관계를 학습함으로써 '어디서 전이할 것인가' 문제를 해결하는 새로운 딥 트랜스퍼 러닝 프레임워크를 제안한다. 층 매칭과 특징 정렬을 동시에 최적화할 수 있는 통합 목적 함수를 도입함으로써, DT-LET는 이질적 도메인 환경에서의 화질 해상도가 다른 이미지 분류 및 수필 숫자 인식 작업에서 기존 표준 트랜스퍼 러닝 방법보다 최대 5% 높은 정확도를 달성한다.

ABSTRACT

Previous transfer learning methods based on deep network assume the knowledge should be transferred between the same hidden layers of the source domain and the target domains. This assumption doesn't always hold true, especially when the data from the two domains are heterogeneous with different resolutions. In such case, the most suitable numbers of layers for the source domain data and the target domain data would differ. As a result, the high level knowledge from the source domain would be transferred to the wrong layer of target domain. Based on this observation, "where to transfer" proposed in this paper should be a novel research frontier. We propose a new mathematic model named DT-LET to solve this heterogeneous transfer learning problem. In order to select the best matching of layers to transfer knowledge, we define specific loss function to estimate the corresponding relationship between high-level features of data in the source domain and the target domain. To verify this proposed cross-layer model, experiments for two cross-domain recognition/classification tasks are conducted, and the achieved superior results demonstrate the necessity of layer correspondence searching.

연구 동기 및 목표

• 소스 및 타겟 네트워크의 층 구조가 동일하다는 가정을 하는 기존 트랜스퍼 러닝 방법의 한계를 해결하기 위해, 이는 종종 부정적 전이를 유도하기 때문이다.
• 소스 및 타겟 네트워크 간 최적의 층 대응 관계를 학습하는 것이, 특히 서로 다른 데이터 해상도를 가진 이질적 도메인에서 전이 성능을 향상시킬 수 있는지 조사하기 위해.
• 크로스 도메인 전이를 위해 최적의 층 매칭과 특징 정렬을 동시에 학습할 수 있는 통합 목적 함수를 개발하기 위해.
• 최적의 전이는 항상 전순위 또는 층 단위로 매칭되는 것이 아니며, 특징 간 의미론적 대응 관계에 따라 달라진다는 것을 입증하기 위해.

제안 방법

• 프레임워크는 소스 및 타겟 도메인에서 각각 독립적으로 계층적 특징을 학습하기 위해 스택드 오토인코더를 사용한다.
• 소스 및 타겟 도메인의 고수준 특징 간의 대응 관계를 추정하기 위해 새로운 목적 함수를 정의하며, 이는 분포의 차이를 최소화한다.
• 학습된 특징을 바탕으로 캐논리컬 코herence 분석(CCA)을 적용하여 두 네트워크의 층 간 최적의 매칭을 찾는다.
• 최적의 매칭 층을 사용하여 데이터를 공통의 부분공간으로 투영하고, 여기서 소스 데이터에 대해 분류기(SVM 등)를 훈련한 후 타겟 데이터에서 테스트한다.
• 통합 손실 함수를 사용한 엔드 투 엔드 훈련 프로세스를 통해 네트워크 아키텍처와 층 대응 관계를 동시에 최적화한다.
• 동일하지 않은 네트워크 깊이를 허용하며, 고정된 층 정렬을 가정하지 않고, 층 간 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 소스 및 타겟 네트워크 간 최적의 층 대응 관계를 학습하는 것이 이질적 도메인에서 전이 학습 성능을 향상시킬 수 있는가?
• RQ2 소스 네트워크의 지식을 타겟 네트워크의 동일하지 않은 층에 전이하는 것이 표준 층 단위 전이보다 더 높은 성능을 낼 수 있는가?
• RQ3 층 매칭 전략의 선택(예: 연속적 대비 이산적)이 분류 정확도에 어떤 영향을 미치는가?
• RQ4 전순위 전이가 항상 최적인가, 아니면 잘못된 전이를 피하기 위해 랭크를 감소시킨 전이가 더 나은 결과를 낼 수 있는가?
• RQ5 예를 들어, 최종 층의 뉴런 수와 같은 하이퍼파라미터가 최종 분류 성능에 어떤 영향을 미치는가?

주요 결과

• DT-LET는 NUS-WIDE 데이터셋에서 평균 85.1%의 정확도를 달성하였으며, 기준 방법들이 최대 80%의 정확도를 기록한 것에 비해 뛰어난 성능을 보였다.
• 전순위 전이 설정 $ r_{5,4}^{2} $ 가 가장 높은 전체 정확도(85.1%)를 기록했지만, 목적 함수 손실이 가장 낮은 것은 아니었으며, 이는 손실 최소화만으로 최적의 성능을 보장하지는 않음을 시사한다.
• 전순위가 아닌 전이 설정에서 부정적 전이가 성능 저하를 유도하는 것으로 나타나, 올바른 층이 선택된다면 랭크 감소가 유익할 수 있음을 시사한다.
• 연속적 전이 전략(예: 마지막 두 층에서 전이)이 이산적 전이(예: 층 3과 5에서 전이)보다 성능이 뛰어나, 특징 전이의 공간적 연속성이 결과를 향상시킨다는 것을 보여준다.
• 최종 층의 뉴런 수는 성능에 크게 영향을 미치며, 멀티 피처 데이터셋에서 30개의 뉴런이 가장 높은 정확도를 기록함으로써 이 하이퍼파라미터에 민감함을 입증한다.
• 목적 함수 손실과 분류 정확도 사이의 상관관계는 엄격히 정의되지 않았으며, 이는 분류기 선택 및 데이터 투영 방식과 같은 다른 요소들도 최종 성능에 영향을 미칠 수 있음을 시사한다.