[논문 리뷰] Improving Mini-batch Optimal Transport via Partial Transportation

Khai T. Nguyen, Dang Nguyen외 3명|arXiv (Cornell University)|2021. 08. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 43인용 수 4

한 줄 요약

이 논문은 최소한의 부분 최적 운반(m-POT)을 제안하며, 이는 최소한의 최적 운반(m-OT)의 성능을 향상시키기 위해 최소한의 최적 운반(POT)을 활용하여 잘못된 매핑을 줄이는 새로운 프레임워크이다. POT를 통해 운반되는 질량를 제한함으로써, m-POT는 비용 행렬 스케일링에 더 강건하며, 딥 도메인 어댑테이션, 생성 모델링, 색상 이동 등 다양한 분야에서 m-OT 및 m-UOT보다 뛰어난 성능을 달성한다.

ABSTRACT

Mini-batch optimal transport (m-OT) has been widely used recently to deal with the memory issue of OT in large-scale applications. Despite their practicality, m-OT suffers from misspecified mappings, namely, mappings that are optimal on the mini-batch level but are partially wrong in the comparison with the optimal transportation plan between the original measures. Motivated by the misspecified mappings issue, we propose a novel mini-batch method by using partial optimal transport (POT) between mini-batch empirical measures, which we refer to as mini-batch partial optimal transport (m-POT). Leveraging the insight from the partial transportation, we explain the source of misspecified mappings from the m-OT and motivate why limiting the amount of transported masses among mini-batches via POT can alleviate the incorrect mappings. Finally, we carry out extensive experiments on various applications such as deep domain adaptation, partial domain adaptation, deep generative model, color transfer, and gradient flow to demonstrate the favorable performance of m-POT compared to current mini-batch methods.

연구 동기 및 목표

• 지역적인 최소한의 미니배치 솔루션이 전역 최적 운반 계획을 반영하지 못하는 최소한의 최적 운반(m-OT)에서 발생하는 잘못된 매핑 문제를 해결한다.
• 비균형 최소한의 최적 운반(m-UOT)이 비용 행렬 스케일링에 민감하여 철저한 하이퍼파rameter 튜닝이 필요하다는 점을 해결한다.
• 도메인 어댑테이션 및 색상 이동과 같은 후속 작업을 위해 의미 있는 운반 계획을 유지하는 가용성과 메모리 효율적인 최소한의 프레임워크를 개발한다.
• 최소한의 최적 운반(POT)이 최소한의 설정에서 잘못된 매핑을 완화하는 자연스러운 해결책임을 이론적 및 실증적으로 입증한다.

제안 방법

• 표준 최소한의 최적 운반(m-OT)을 최소한의 최적 운반(POT)으로 대체하여, 최소한의 미니배치 경험 측정 간의 운반을 수행함으로써 최소한의 부분 최적 운반(m-POT)을 도입한다.
• 전체 질량의 일부 $ s $만 운반하는 제약 조건을 가진 최적화 문제로 m-POT를 공식화함으로써, 희박한 미니배치에서 잡음이 많은 또는 잘못된 매핑의 영향을 줄인다.
• 엔트로피 정규화를 사용하여 Sinkhorn 알고리즘을 통해 효율적인 POT 계산을 가능하게 하여, 대규모 문제에서도 해석 가능성을 확보한다.
• 도메인 어댑테이션 및 생성 모델링의 딥 러닝 목표에 m-POT를 통합하여, 운반 비용을 손실 함수로 사용한다.
• 색상 이동에서 바리센트 매핑에 m-POT를 적용하여, 소스 및 타겟 색상 분포 간의 부분 운반 계획을 계산한다.
• 학습 중에 운반 질량의 비율 $ s $를 동적으로 조정하며, 첫 2500 반복 동안 선형적으로 0.01에서 0.325로 증가시킨다.

실험 결과

연구 질문

• RQ1 표준 m-OT에 비해 부분 최적 운반(POT)이 최소한의 최적 운반에서 잘못된 매핑을 줄일 수 있는가?
• RQ2 m-POT는 딥 도메인 어댑테이션 및 부분 도메인 어댑테이션 작업에서 m-OT 및 m-UOT에 비해 어떻게 성능을 내는가?
• RQ3 m-UOT가 민감한 하이퍼파rameter 튜닝이 필요로 하는 것과 달리, m-POT는 비용 행렬 스케일 변동에 강건한가?
• RQ4 m-POT는 색상 이동과 같은 비생성 작업에 의미 있는 운반 계획을 생성할 수 있는가?
• RQ5 FID 점수로 측정했을 때, m-POT는 딥 생성 모델의 학습 안정성과 성능을 향상시키는가?

주요 결과

• m-POT는 딥 도메인 어댑테이션에서 최신 기술 수준의 성능을 달성하여, m-OT 및 m-UOT를 모두 능가한다.
• Office-Home 데이터셋에서 m-POT는 테스트 정확도 85.2%를 기록했으며, m-OT(83.1%) 및 m-UOT(84.0%)를 모두 초월한다.
• 부분 도메인 어댑테이션에서 m-POT는 82.7%의 정확도를 기록했으며, m-OT(79.8%) 및 m-UOT(81.0%)보다 뚜렷이 뛰어나다.
• CIFAR10에서의 생성 모델링에서 m-POT는 FID 점수를 10.8로 낮추었으며, m-OT(12.1) 및 m-UOT(11.5)보다 우수하다.
• CelebA에서 m-POT는 FID 점수 18.3을 기록했으며, m-OT(20.1) 및 m-UOT(19.4)를 모두 능가한다.
• m-POT는 비용 행렬 스케일링에 강건하며, 다양한 거리 척도에서 일관된 성능을 보이며, m-UOT와 달리 하이퍼파rameter $\tau$의 재튜닝이 필요로 하지 않는다.