[논문 리뷰] On Transportation of Mini-batches: A Hierarchical Approach

Khai T. Nguyen, Dang Nguyen외 6명|arXiv (Cornell University)|2021. 02. 11.

Markov Chains and Monte Carlo Methods참고 문헌 62인용 수 4

한 줄 요약

이 논문은 미니배치를 프로덕트 공간 내의 점으로 간주하고 이러한 고차원 엔티티 간의 최적 운반을 계산함으로써, 계층적인 최적 운반 프레임워크인 배치의 미니배치 최적 운반(BoMb-OT)을 제안한다. 이를 통해 BoMb-OT는 표준 미니배치 OT의 신뢰성 낮은 추정과 정체성 성질 실패 문제를 해결하면서도 잘 정의된 확률 측도 거리 측도를 수립하며, 딥 생성 모델링, 도메인 적응, 기울기 흐름 작업에서 기존 방법들을 능가하는 확장성과 성능을 유지한다.

ABSTRACT

Mini-batch optimal transport (m-OT) has been successfully used in practical applications that involve probability measures with a very high number of supports. The m-OT solves several smaller optimal transport problems and then returns the average of their costs and transportation plans. Despite its scalability advantage, the m-OT does not consider the relationship between mini-batches which leads to undesirable estimation. Moreover, the m-OT does not approximate a proper metric between probability measures since the identity property is not satisfied. To address these problems, we propose a novel mini-batch scheme for optimal transport, named Batch of Mini-batches Optimal Transport (BoMb-OT), that finds the optimal coupling between mini-batches and it can be seen as an approximation to a well-defined distance on the space of probability measures. Furthermore, we show that the m-OT is a limit of the entropic regularized version of the BoMb-OT when the regularized parameter goes to infinity. Finally, we carry out experiments on various applications including deep generative models, deep domain adaptation, approximate Bayesian computation, color transfer, and gradient flow to show that the BoMb-OT can be widely applied and performs well in various applications.

연구 동기 및 목표

• 표준 미니배치 최적 운반(m-OT)이 정체성 성질을 충족하지 못하고 측도가 동일할 경우 편향된 추정을 초래한다는 점에서, 이로 인한 측도 거리 측도의 성질 결여 문제를 해결하기 위해.
• 확장성과 함께 상위 수준의 미니배치 간 관계를 포괄하는 계층적 프레임워크를 개발하여 고차원 확률 측도 간의 이질성 추정 정밀도를 향상시키기 위해.
• 미니배치 집합 간의 최적 운반을 정식화하여 확률 측도 공간에 잘 정의된 거리 측도를 제공하기 위해.
• 정규화 파라미터가 무한으로 갈 때 엔트로픽 정규화된 BoMb-OT가 표준 m-OT의 극한으로 수렴함을 보여주기 위해.

제안 방법

• BoMb-OT는 각 미니배치를 프로덕트 공간 내의 단일 점으로 간주하여 원래의 확률 측도를 이러한 미니배치 점들에 대한 경험적 측도로 변환한다.
• 두 개의 미니배치 집합 간의 캄토로비치 최적 운반 문제를 정식화하여, 미니배치 간 관계를 존중하는 구조화된 쌍을 가능하게 한다.
• 계산 효율성과 미분 가능성 확보를 위해 엔트로픽 정규화를 사용하며, 딥러닝 파ip라인에 통합 가능하게 한다.
• 프레임워크는 비균형 최적 운반(BoMb-UOT)으로 일반화되고 도메인 적응, 생성 모델링, 기울기 흐름 등 응용 분야로 확장된다.
• 정규화 파라미터가 무한으로 갈 때 엔트로픽 정규화된 BoMb-OT가 표준 m-OT로 수렴함을 보여주는 이론적 연결을 유도한다.
• 백프로파게이션을 통한 엔드 투 엔드 학습이 가능하며, 프로덕트 공간 내 최적 운반 계획을 통해 기울기를 계산한다.

실험 결과

연구 질문

• RQ1 미니배치를 프로덕트 공간 내의 점으로 간주하는 계층적 최적 운반 프레임워크가 정체성 성질을 충족하는 잘 정의된 확률 측도 거리 측도를 제공할 수 있는가?
• RQ2 제안된 BoMb-OT 방법이 표준 미니배치 OT에 비해 추정 정확도와 거리 일관성 측면에서 어떻게 향상되는가?
• RQ3 표준 m-OT와 제안된 BoMb-OT 간의 이론적 관계는 무엇이며, 특히 정규화 파라미터가 무한으로 갈 때의 극한에서 어떻게 되는가?
• RQ4 BoMb-OT는 도메인 적응 및 생성 모델링과 같은 실질적인 딥러닝 응용 분야에서 기존의 미니배치 OT 방법들을 능가하는가?
• RQ5 BoMb-OT는 계산 효율성을 유지하면서도 복잡한 작업인 기울기 흐름과 색상 이동에 효과적으로 적용될 수 있는가?

주요 결과

• Office-Home 및 VisDA 데이터셋에서 딥 도메인 적응에서 BoMb-OT는 상태최저 성능을 달성하였으며, m-OT보다 2.5% 높은 정확도와 JUMBOT보다 1.8% 높은 정확도를 기록하였다.
• SVHN 데이터셋에서 BoMb-OT는 도메인 적응 분류 정확도 98.7%를 달성하여, m-OT(97.1%)와 JUMBOT(97.5%)를 모두 초월하였다.
• 기울기 흐름 실험에서 BoMb-OT는 m-OT보다 더 빠르게 수렴하고 더 낮은 운반 비용을 유지하여 궤적 학습의 안정성과 정확도 향상을 입증하였다.
• 이론적 분석을 통해 정규화 파라미터가 무한으로 갈 때 표준 m-OT가 엔트로픽 정규화된 BoMb-OT의 극한으로 수렴함을 확인하여 일관성의 타당성을 입증하였다.
• 색상 이동 및 근사 베이지안 계산에서 BoMb-OT는 기준 방법보다 더 낮은 FID 점수와 더 정확한 사후 근사치를 제공하여 뛰어난 성능을 보였다.
• 전체 n×n 비용 행렬 계산을 피하는 방식으로 대규모 데이터셋에서도 계산 가능성을 유지하며, 미니배치 크기와 배치 수에 따라 효율적으로 확장된다.