[논문 리뷰] Correlation Alignment by Riemannian Metric for Domain Adaptation

Pietro Morerio, Vittorio Murino|arXiv (Cornell University)|2017. 05. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 15

한 줄 요약

이 논문은 대칭 양의 정부호(SPD) 행렬의 리만 다양체 상에서 기하학적 거리(geodesic distance)를 사용하는 엔드 투 엔드 딥 도메인 어댑테이션 방법인 Log-D-Coral을 제안한다. 이는 Deep CORAL에서 유클리드 거리를 기하학적 거리로 대체함으로써, 소스 및 타겟 특징 공분산 간의 보다 우수한 정렬을 달성하며, Office 벤치마크에서 Deep CORAL 대비 평균 2.8% 향상된 분류 정확도를 기록한다.

ABSTRACT

Domain adaptation techniques address the problem of reducing the sensitivity of machine learning methods to the so-called domain shift, namely the difference between source (training) and target (test) data distributions. In particular, unsupervised domain adaptation assumes no labels are available in the target domain. To this end, aligning second order statistics (covariances) of target and source domains have proven to be an effective approach ti fill the gap between the domains. However, covariance matrices do not form a subspace of the Euclidean space, but live in a Riemannian manifold with non-positive curvature, making the usual Euclidean metric suboptimal to measure distances. In this paper, we extend the idea of training a neural network with a constraint on the covariances of the hidden layer features, by rigorously accounting for the curved structure of the manifold of symmetric positive definite matrices. The resulting loss function exploits a theoretically sound geodesic distance on such manifold. Results show indeed the suboptimal nature of the Euclidean distance. This makes us able to perform better than previous approaches on the standard Office dataset, a benchmark for domain adaptation techniques.

연구 동기 및 목표

• 도메인 어댑테이션에서 공분산 행렬 간의 차이를 측정하는 데 있어 유클리드 거리의 열악한 성능을 해결한다.
• 공분산 행렬이 자연스럽게 리만 다양체(Sym++(n)) 상에 존재하므로, 유클리드 공간이 아닌 다각형 인식 메트릭이 필요하다는 것을 인식한다.
• Deep CORAL의 프레보르니우스 노름을 이론적으로 타당한 리만 거리로 대체하여 딥 도메인 어댑테이션을 향상시킨다.
• 더 안정적이고 의미 있는 공분산 정렬 손실을 가능하게 하여 엔드 투 엔드 학습을 가능하게 한다.
• 공분산 행렬의 내재 기하학을 고려할 경우, 더 우수한 일반화 및 수렴 행동을 달성할 수 있음을 입증한다.

제안 방법

• 딥 도메인 어댑테이션에서 공분산 행렬 간의 손실을 계산하는 데 사용되는 프레보르니우스 노름을, 대칭 양의 정부호(SPD) 행렬의 다양체 상에서의 로그-유클리드 리만 거리로 대체한다.
• 로그-유클리드 메트릭을 사용하여, SPD 행렬의 행렬 로그 간의 유클리드 거리를 계산함으로써 기하학적 거리를 산출한다.
• 새로운 손실 함수를 제안한다: $ \alpha \cdot \| \log \Sigma_s - \log \Sigma_t \|_F^2 $, 여기서 $ \Sigma_s $ 와 $ \Sigma_t $ 는 각각 소스 및 타겟 특징의 공분산 행렬이다.
• 이 리만 손실을 엔드 투 엔드 딥 신경망 학습 파이프라인에 통합하여, 교차 엔트로피 분류 손실과 함께 공동 최적화한다.
• 배치 기반 공분산 추정치를 최종 완전히 연결된 레이어의 특징에서 추출하여 Office 벤치마크 데이터셋에 이 방법을 적용한다.
• 각 도메인 시프트에 대해 하이퍼파ram터 $ \alpha $ 와 $ \lambda $ 를 별도로 튜닝하며, 일반적으로 $ \alpha $ 는 $ \lambda $ 보다 한 단계 큰 값을 가진다.

실험 결과

연구 질문

• RQ1 공분산 정렬 시, 유클리드 거리 대신 리만 기하학적 기하학적 거리를 사용할 경우 도메인 어댑테이션 성능이 향상되는가?
• RQ2 학습 중에 리만 손실의 안정성 및 수렴 행동이 기존의 프레보르니우스 노름 기반 손실과 비교하여 어떻게 다를까?
• RQ3 SPD 다양체 상의 기하학적 거리가 딥 도메인 어댑테이션에서 표준 CORAL 손실보다 더 좋은 일반화 성능을 제공할 수 있는가?
• RQ4 로그-유클리드 메트릭은 대규모 도메인 어댑테이션에서 더 복잡한 리만 메트릭에 비해 계산적으로 실현 가능하고 효과적인가?
• RQ5 공분산 행렬의 내재 기하학을 고려할 경우, 소스 및 타겟 분포 간의 도메인 시프트가 어느 정도 감소하는가?

주요 결과

• Log-D-Coral는 Office 벤치마크에서 평균 정확도 61.4%를 달성하였으며, Deep CORAL의 60.5% 대비 2.8% 향상된 성능을 기록하였다.
• 6개의 도메인 시프트 분할 중 3개에서 성능 향상을 기록하였고, 다양한 소스-타겟 조합 간 일관된 성능 향상이 관찰되었다.
• 로그-유클리드 손실($ L_{\log} $)은 학습 도중 빠르게 안정화되며, 프레보르니우스 기반 $ L_{\text{CORAL}} $ 에 비해 더 매끄럽고 예측 가능한 행동을 보였다. 반면 $ L_{\text{CORAL}} $ 는 기하학적 증가와 높은 노이즈를 보이며, 수렴 후에도 안정되지 않은 진동을 보였다.
• $ L_{\text{CORAL}} $ 손실은 수렴 후에도 불안정한 진동을 보이며, 가중치 업데이트에 대한 민감도가 열악함을 시사한다.
• SPD 행렬의 리만 다양체 상에서의 기하학적 거리는 유클리드 메트릭보다 공분산 차이를 더 의미 있고 안정적으로 측정할 수 있다.
• 실험 결과, 공분산 행렬을 $ \mathrm{Sym}^{++}(n) $ 의 원소로 간주하고 적절한 리만 기하학을 적용할 경우, 더 우수한 도메인 정렬과 향상된 분류 성능을 달성할 수 있음을 확인하였다.