[논문 리뷰] Optimal Transport on the Manifold of SPD Matrices for Domain Adaptation

Or Yair, Felix Dietrich외 2명|arXiv (Cornell University)|2019. 06. 03.

Advanced Neuroimaging Techniques and Applications참고 문헌 17인용 수 8

한 줄 요약

이 논문은 도메인 적응을 위한 대칭 양의 정부호(SPD) 행렬의 다양체 위에서 최적 운반(OT) 프레임워크를 제안하며, 체적 보존 사상까지 최적이 되도록 보장하기 위해 극성 분해 정리(polar factorization theorem)를 활용한다. 유일한 가중치가 부여된 리만 평균과 정규화된 OT 알고리즘을 활용하여, 두 개의 뇌-컴퓨터 인터페이스(BCI) 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The problem of domain adaptation has become central in many applications from a broad range of fields. Recently, it was proposed to use Optimal Transport (OT) to solve it. In this paper, we model the difference between the two domains by a diffeomorphism and use the polar factorization theorem to claim that OT is indeed optimal for domain adaptation in a well-defined sense, up to a volume preserving map. We then focus on the manifold of Symmetric and Positive-Definite (SPD) matrices, whose structure provided a useful context in recent applications. We demonstrate the polar factorization theorem on this manifold. Due to the uniqueness of the weighted Riemannian mean, and by exploiting existing regularized OT algorithms, we formulate a simple algorithm that maps the source domain to the target domain. We test our algorithm on two Brain-Computer Interface (BCI) data sets and observe state of the art performance.

연구 동기 및 목표

• 기계 학습 응용에서의 도메인 이동 문제를 다루기 위해 도메인 차이를 미분형사상(diffeomorphisms)으로 모델링한다.
• 체적 보존 사상까지 최적이 되는 도메인 적응을 위한 최적 운반(OT)의 최적성에 대해 입증한다.
• SPD 다양체의 기하학적 구조를 활용하여 강건하고 효율적인 도메인 적응을 확보한다.
• 정규화된 OT와 가중치가 부여된 리만 평균을 활용하여 소스 도메인에서 타겟 도메인으로의 매핑을 위한 실용적인 알고리즘을 개발한다.

제안 방법

• 도메인 차이를 미분형사상으로 모델링하고, 극성 분해 정리를 적용하여 이 가정 하에 OT가 최적이 되는 것을 정당화한다.
• 대칭 양의 정부호(SPD) 행렬의 다양체 구조를 도메인 표현의 기하 기반으로 활용한다.
• SPD 다양체 위에서 유일한 가중치가 부여된 리만 평균을 활용하여 안정적이고 일관된 도메인 정렬을 보장한다.
• 정규화된 최적 운반(OT) 알고리즘을 사용하여 소스 도메인에서 타겟 도메인으로의 매핑을 수립한다.
• 리만 기하학과 OT를 통합하여 도메인 적응 과정에서 내재된 기하학적 성질을 유지한다.
• SPD 행렬 위에서 OT를 활용하여 소스 도메인 데이터를 타겟 도메인으로 효과적으로 매핑하는 단순하지만 효과적인 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 도메인 이동 모델이 미분형사상일 경우, 최적 운반(OT)이 도메인 적응에 대해 엄밀하게 최적이 되는가?
• RQ2 도메인 적응의 맥락에서, 극성 분해 정리는 SPD 행렬의 다양체에 어떻게 적용되는가?
• RQ3 가중치가 부여된 리만 평균은 SPD 다양체에서 안정적이고 유일한 도메인 정렬을 확보하는 데 어떤 역할을 하는가?
• RQ4 정규화된 OT가 SPD 다양체에 적용되었을 때, 기존의 도메인 적응 방법보다 실제 데이터에서 더 우수한 성능을 내는가?
• RQ5 SPD 행렬의 기하학적 구조는 도메인 적응의 강건성과 성능을 어떻게 향상시키는가?

주요 결과

• 제안된 방법은 두 개의 뇌-컴퓨터 인터페이스(BCI) 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하여 도메인 간 일반화 능력이 뛰어나다는 것을 입증한다.
• SPD 다양체에 극성 분해 정리를 적용함으로써, OT가 체적 보존 변환까지 최적이 되는 매핑을 제공한다는 것이 확인된다.
• SPD 행렬에서 가중치가 부여된 리만 평균의 유일성은 운반 과정 중 안정적이고 일관된 도메인 정렬을 보장한다.
• 정규화된 OT와 리만 기하학의 통합은 효율적이고 기하학적으로 의미 있는 도메인 적응을 가능하게 한다.
• 알고리즘은 구현이 단순하며, 내재된 기하학적 구조를 유지하면서 소스 도메인 데이터를 타겟 도메인으로 효과적으로 매핑한다.