[논문 리뷰] Hierarchical Optimal Transport for Robust Multi-View Learning

Dixin Luo, Hongteng Xu외 1명|arXiv (Cornell University)|2020. 06. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 4

한 줄 요약

이 논문은 표본 대응 관계나 다양한 시각 간 동일한 잠재 분포에 의존하지 않는 강력한 다시시각 학습 방법인 계층적 최적 운반(Hierarchical Optimal Transport, HOT)을 제안한다. 자세한 운반 거리(ground distances)로 절삭된 워셔스타인 거리(Sliced Wasserstein distances)를 사용하고 최적 운반 행렬을 학습함으로써, 시각 간의 군집 구조를 명시적으로 모델링하여 합성 및 실세계 데이터셋에서 준지도 및 비지도 설정 모두에서 성능을 향상시킨다.

ABSTRACT

Traditional multi-view learning methods often rely on two assumptions: ($i$) the samples in different views are well-aligned, and ($ii$) their representations in latent space obey the same distribution. Unfortunately, these two assumptions may be questionable in practice, which limits the application of multi-view learning. In this work, we propose a hierarchical optimal transport (HOT) method to mitigate the dependency on these two assumptions. Given unaligned multi-view data, the HOT method penalizes the sliced Wasserstein distance between the distributions of different views. These sliced Wasserstein distances are used as the ground distance to calculate the entropic optimal transport across different views, which explicitly indicates the clustering structure of the views. The HOT method is applicable to both unsupervised and semi-supervised learning, and experimental results show that it performs robustly on both synthetic and real-world tasks.

연구 동기 및 목표

• 표본이 잘 정렬되어 있고 다양한 시각 간에 동일한 잠재 분포를 가진다는 가정을 하는 전통적인 다시시각 학습 방법의 한계를 해결하기 위해.
• 특히 헬스케어 및 금융과 같은 개인정보 감수성이 높은 환경에서, 정렬되지 않은 분포된 다시시각 데이터로부터 의미 있는 표현을 학습할 수 있는 방법을 개발하기 위해.
• 최적 운반을 통해 시각의 군집 구조를 명시적으로 모델링하여 표현 학습과 일반화 능력을 향상시키기 위해.
• 모든 시각에서 레이블 데이터가 필요로 하지 않는 효과적인 준지도 및 비지도 다시시각 학습을 가능하게 하기 위해.
• 최적 운반을 통한 시각 수준의 군집화를 학습함으로써 공정화(regularization) 방법에 대한 더 해석 가능하고 강력한 대안을 제공하기 위해.

제안 방법

• 다른 시각의 잠재 표현 간 분포 불일치를 측정하기 위해 절삭된 워셔스타인 거리(Sliced Wasserstein Distance, SWD)를 사용하여 표본 대응 관계가 필요 없도록 한다.
• SWD를 기초 거리로 사용하여 시각 간에 엔트로피 최적 운반을 계산함으로써, 쌍별 시각 유사도를 캡처하는 계층적 최적 운반(HOT) 모델을 구성한다.
• 각 시각 쌍에 대해 학습 가능한 가중치를 도입하여 이를 시각 간 최적 운반 계획으로 해석함으로써 군집 구조 탐지 기능을 가능하게 한다.
• 전역 기준 표현을 통합하여 시각 군집을 명시적으로 학습함으로써, 최적 운반 행렬이 유사하거나 중복 정보를 지닌 시각의 묶음을 반영하도록 한다.
• 미니배치 확률적 경사 하강법과 싱크호른 알고리즘을 조합하여 HOT 모델의 효율적 최적화를 가능하게 한다.
• 프레임워크는 준지도 및 비지도 학습 모두를 지원하며, 재구성 손실을 통해 표현을 추가로 정규화할 수 있는 선택적 오토에인코더 디코더를 포함한다.

실험 결과

연구 질문

• RQ1 절삭된 워셔스타인 거리 기반 최적 운반은 표본 대응 관계가 필요 없이 다시시각 학습을 효과적으로 정규화할 수 있는가?
• RQ2 최적 운반을 통한 시각 수준 군집 모델링이 약한 가정 하에 다수의 시각 학습 성능을 향상시키는가?
• RQ3 실세계 및 합성 데이터에서 HOT 모델은 기준 모델 대비 준지도 및 비지도 설정에서 어떻게 비교되는가?
• RQ4 학습된 최적 운반 행렬은 의미 있는 시각 군집을 드러내며, 이러한 군집은 정보의 중복성 측면에서 해석 가능한가?
• RQ5 최적 운반 모델은 다양한 시각 간 동일한 잠재 분포를 강제로 부여하는 과도한 정규화를 어느 정도 줄이는가?

주요 결과

• 제안된 HOT 모델은 다양한 데이터셋에서 강력한 기준 모델들을 일관되게 능가하며, 준지도 및 비지도 설정 모두에서 높은 분류 정확도를 달성한다.
• 비지도 특징 추출 상황에서, HOT를 통한 명시적 시각 군집화를 활용한 방법은 높은 정확도를 유지하지만, 쌍별 비교에 의존하는 방법은 정확도가 크게 떨어진다.
• HOT가 학습한 최적 운반 행렬은 해석 가능한 군집 구조를 드러낸다: 예를 들어 Caltech7에서 Gabor와 CENTIST는 한 군집을 이루며, WM과 GIST는 다른 군집을 형성하고, HOG와 LBP는 군집의 혼합 형태를 띤다.
• 동일한 군집에 속한 시각들(예: Gabor 또는 CENTRIST)을 제거해도 성능 저하가 최소한이 되며, 이러한 시각들이 중복 정보를 지닌다는 것을 확인한다.
• 반대로, 군집 내에서 유일한 시각(예: MOR)을 제거하면 성능 저하가 심각하게 발생함으로써, 모델이 구조적으로 다른 시각을 정확히 식별할 수 있음을 검증한다.
• 오토에인코더 재구성 손실의 포함은 추가로 분류 정확도를 향상시키며, HOT 프레임워크 내 다목적 정규화의 유용성을 입증한다.