[논문 리뷰] InfoOT: Information Maximizing Optimal Transport

Ching-Yao Chuang, Stefanie Jegelka외 1명|arXiv (Cornell University)|2022. 10. 06.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

InfoOT는 기하학적 거리와 상호정보량을 동시에 최소화하면서 원천 도메인과 대상 도메인 간의 상호정보량을 최대화하는 정보이론적 확장을 제안한다. 이는 새로운 조건부 투영 방법을 통해 외부 샘플에 대한 강건한 일반화를 가능하게 하며, 도메인 적응, 교차 도메인 검색, 단일세포 옹모믹스 벤치마크에서 군집 구조를 유지하고 클래스 불균형을 처리함으로써 정렬 품질을 향상시킨다.

ABSTRACT

Optimal transport aligns samples across distributions by minimizing the transportation cost between them, e.g., the geometric distances. Yet, it ignores coherence structure in the data such as clusters, does not handle outliers well, and cannot integrate new data points. To address these drawbacks, we propose InfoOT, an information-theoretic extension of optimal transport that maximizes the mutual information between domains while minimizing geometric distances. The resulting objective can still be formulated as a (generalized) optimal transport problem, and can be efficiently solved by projected gradient descent. This formulation yields a new projection method that is robust to outliers and generalizes to unseen samples. Empirically, InfoOT improves the quality of alignments across benchmarks in domain adaptation, cross-domain retrieval, and single-cell alignment.

연구 동기 및 목표

• 표준 최적 운반 이론이 데이터 일관성을 유지하는 데서, 이상치를 다루는 데서, 그리고 미리 보지 못한 샘플로 일반화하는 데서 나타나는 한계를 해결하기 위해.
• 상호정보량 최대화를 통해 군집 구조와 같은 전역적 구조 정보를 최적 운반 이론에 통합하기 위해.
• 미리 보지 못한 샘플로 일반화할 수 있고, 클래스 불균형과 이상치에 강건한 새로운 투영 방법을 개발하기 위해.
• 다른 거리 공간(예: 다양한 모odalities 또는 차원 수를 가진 공간)에서 분포를 정렬하기 위해 최적 운반 이론을 확장하기 위해.

제안 방법

• InfoOT는 기하학적 비용과 커널 밀도 추정을 통해 추정된 상호정보량 항을 조합한 일반화된 최적 운반 문제를 수립한다.
• 운반 비용은 추정된 공동 밀도와 주변 밀도의 곱의 로그 비율로 정의되며, 원천 및 대상 샘플 간의 종속성을 캡처한다.
• 구조를 유지하면서도 효율적인 최적화 문제를 해결하기 위해 투영된 경사 하강법 알고리즘을 사용한다.
• 조건부 투영은 새로운 매핑 방법으로, 원천 조건부 밀도에 대한 중요도 샘플링을 통해 대상 예측을 계산함으로써 외부 샘플 일반화를 가능하게 한다.
• 도메인 내 거리만을 활용하므로, Gromov-Wasserstein과 유사하지만 정보이론적 정규화를 갖춘, 서로 다른 거리 공간에 있는 분포에 적용 가능하다.
• 운반 계획 내 쌍체 샘플에서 공동 및 주변 분포를 커널 밀도 추정을 통해 추정한다.

실험 결과

연구 질문

• RQ1 상호정보량이 최적 운반 이론에 효과적으로 통합될 수 있는가? 이는 정렬 품질 향상과 데이터 구조 유지에 기여하는가?
• RQ2 실제 데이터셋에서 이상치와 클래스 불균형에 강건해지기 위해 최적 운반 이론을 어떻게 개선할 수 있는가?
• RQ3 미리 보지 못한 샘플로 일반화할 수 있는 새로운 투영 방법을 개발할 수 있는가? 이는 스트리밍 또는 대규모 응용에 기여하는가?
• RQ4 InfoOT는 어떤 정도로 서로 다른 모달리티 또는 차원 수 공간 간의 분포를 정렬할 수 있는가?

주요 결과

• InfoOT는 Office-Caltech에서 도메인 적응 작업에서 바리센트 투영 및 표준 OT 기반 모델보다 뛰어나며, 특히 클래스 불균형 상황에서 scGEM에서 68.9%의 레이블 전이 정확도를 기록한다.
• ImageClef 및 Office-Caltech 데이터셋에서 F-InfoOT는 베이스라인보다 높은 top-k 정밀도를 기록하여 비지도 교차 도메인 검색에서 뛰어난 성능을 입증한다.
• 단일세포 정렬에서 InfoOT는 scGEM에서 0.178의 FOSCTTM 점수와 98.8%의 레이블 전이 정확도를 달성하여 UnionCom, MMD-MA, SCOT(GW)를 모두 능가한다.
• t-SNE 시각화를 통해 InfoOT의 조건부 투영 방법이 바리센트 투영보다 이상치 및 클래스 불균형에 더 강건하며 군집 구조를 잘 유지하는 것으로 확인되었다.
• InfoOT는 외부 샘플 일반화를 효과적으로 가능하게 하여, 전체 OT 문제를 다시 풀지 않고도 새로운 원천 샘플에 대한 유사도 점수를 계산할 수 있다.
• 이 방법은 교차 도메인 검색, 도메인 적응, 단일세포 다중오믹스 데이터 통합 등 다양한 환경에서 잘 일반화된다.