[논문 리뷰] Deep Domain Adaptation by Geodesic Distance Minimization

Yifei Wang, Wen Li외 2명|arXiv (Cornell University)|2017. 07. 13.

Domain Adaptation and Few-Shot Learning참고 문헌 19인용 수 5

한 줄 요약

이 논문은 공분산 행렬의 리만 다양체 위에서 유클리드 거리를 로그-유클리드 지오데식 거리로 대체함으로써, Deep CORAL의 보완으로서 새로운 비지도 도메인 적응 방법인 Deep LogCORAL을 제안한다. 또한 평균 벡터의 차이를 최소화함으로써 제1차 및 제2차 통계 정보를 모두 활용하여 도메인 정렬을 향상시킨다. 이로 인해 Office 벤치마크에서 Deep CORAL보다 평균 정확도가 0.39% 향상되어 최신 기준 성능을 달성한다.

ABSTRACT

In this paper, we propose a new approach called Deep LogCORAL for unsupervised visual domain adaptation. Our work builds on the recently proposed Deep CORAL method, which proposed to train a convolutional neural network and simultaneously minimize the Euclidean distance of convariance matrices between the source and target domains. We propose to use the Riemannian distance, approximated by Log-Euclidean distance, to replace the naive Euclidean distance in Deep CORAL. We also consider first-order information, and minimize the distance of mean vectors between two domains. We build an end-to-end model, in which we minimize both the classification loss, and the domain difference based on the first and second order information between two domains. Our experiments on the benchmark Office dataset demonstrate the improvements of our newly proposed Deep LogCORAL approach over the Deep CORAL method, as well as further improvement when optimizing both orders of information.

연구 동기 및 목표

• 원천 데이터와 타겟 데이터의 분포가 다를 때 발생하는 도메인 이동 문제를 해결하기 위해.
• Deep CORAL의 공분산 행렬 간 유클리드 거리를 더 적절한 리만 다양체 상의 지오데식 거리로 대체하여 성능을 향상시키기 위해.
• 제2차 통계 정보(공분산 행렬) 외에도 제1차 통계 정보(평균 벡터)를 함께 고려하여 더 강력한 도메인 정렬을 구현하기 위해.
• 제1차 및 제2차 도메인 이격을 동시에 최소화하는 것이 모델의 일반화 능력을 향상시킨다는 것을 입증하기 위해.

제안 방법

• Deep CORAL에서 원천 및 타겟 공분산 행렬 간 유클리드 거리를, 양의 준정부호 행렬의 리만 다양체 상에서 지오데식 거리를 근사하는 로그-유클리드 거리로 대체한다.
• 공분산 행렬 간의 도메인 이격을 최소화하기 위해 로그-유클리드 거리를 기반으로 한 새로운 LogCORAL 손실 함수를 도입한다.
• 최대 평균 이격(MMD)의 영감을 받아, 원천 도메인과 타겟 도메인의 평균 벡터 간의 차이를 최소화하기 위한 평균 거리 손실을 추가한다.
• 분류 손실, LogCORAL 손실, 평균 손실을 동시에 최적화하는 엔드 투 엔드 딥 신경망을 구축한다.
• 제2차 통계 정보의 내재적 구조를 더 잘 모델링하기 위해 공분산 행렬의 리만 기하학을 활용한다.
• 공분산 행렬 간의 지오데식 거리를 효율적으로 계산하기 위해 로그-유클리드 프레임워크를 활용한다.

실험 결과

연구 질문

• RQ1 공분산 행렬의 리만 다양체 상에서 유클리드 거리를 지오데식 거리로 대체하면 도메인 적응 성능이 향상되는가?
• RQ2 제2차 통계 정보(공분산 행렬)와 함께 제1차 통계 정보(평균 벡터)를 통합하면 도메인 적응에 유리한가?
• RQ3 학습 과정에서 로그-유클리드 거리 손실과 평균 거리 손실 간의 상관관계는 어떻게 되며, 이들의 동시 최적화가 더 나은 성능을 내는가?
• RQ4 제안된 방법이 Office와 같은 표준 벤치마크 데이터셋에서 기존 최신 기준 방법들을 초월할 수 있는가?

주요 결과

• 제안된 Deep LogCORAL 방법은 Office 데이터셋에서 원래의 Deep CORAL 방법보다 평균 정확도가 0.39% 향상된다.
• LogCORAL 손실만 최소화해도 베이스라인 CNN보다 성능 향상이 나타나, 리만 다양체 상에서 지오데식 거리를 사용하는 것이 유의미하다는 것을 보여준다.
• 평균 손실만 최소화해도 정확도 향상이 나타나, 제1차 통계 정보가 도메인 정렬에 유용하다는 것을 시사한다.
• LogCORAL 손실과 평균 손실을 동시에 최적화하면 가장 우수한 성능을 기록하며, 이는 두 손실이 상호보완적이고 약간의 상관관계가 있음을 확인한다.
• 학습 곡선의 시각화 결과, 한 손실을 최적화해도 다른 손실이 감소하지 않음을 확인하여, 두 손실이 독립적임을 입증하고 동시 최적화의 타당성을 뒷받침한다.
• 학습 곡선을 통해 제안된 방법이 더 빠르게 수렴하고 더 우수한 일반화 성능을 보임을 확인할 수 있다.