[논문 리뷰] Unbalanced minibatch Optimal Transport; applications to Domain Adaptation

Kilian Fatras, Thibault Séjourné외 2명|arXiv (Cornell University)|2021. 03. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 72인용 수 34

한 줄 요약

본 논문은 언밸런스드 미니배치 최적 수송(MBOT)을 제안하여 미니배치 OT의 강건성을 높이고, 이론적 특성을 개발하며, 표준 OT 및 관련 기준선 대비 도메인 적응 성능이 우수함을 보인다.

ABSTRACT

Optimal transport distances have found many applications in machine learning for their capacity to compare non-parametric probability distributions. Yet their algorithmic complexity generally prevents their direct use on large scale datasets. Among the possible strategies to alleviate this issue, practitioners can rely on computing estimates of these distances over subsets of data, {\em i.e.} minibatches. While computationally appealing, we highlight in this paper some limits of this strategy, arguing it can lead to undesirable smoothing effects. As an alternative, we suggest that the same minibatch strategy coupled with unbalanced optimal transport can yield more robust behavior. We discuss the associated theoretical properties, such as unbiased estimators, existence of gradients and concentration bounds. Our experimental study shows that in challenging problems associated to domain adaptation, the use of unbalanced optimal transport leads to significantly better results, competing with or surpassing recent baselines.

연구 동기 및 목표

• 대규모 학습과 도메인 적응에서 표준 미니배치 OT의 한계를 동기 부여하고 이를 해결한다.
• 미니배치 수준에서 잘못된 샘플 짝매김을 줄이기 위해 언밸런스 OT 형식을 도입한다.
• 기울기의 존재성, 편향되지 않은 추정치, 수렴 경계에 대한 이론적 보장을 제공한다.
• 도전적인 데이터셋에 대해 Unbalanced MBOT이 강건한 도메인 적응 성능을 보임을 실험적으로 입증한다.

제안 방법

• Csiszár 발산을 이용한 주변 제약의 완화로 미니배치 언밸런스드 OT(UOT)를 정의한다.
• 계산량 감소를 위해 모든 미니배치 쌍에 대해 UOT 비용을 평균화하는 미니배치 추정기를 채택하고, 더불어 부분적(k-샘플) 추정기를 사용한다.
• UOT 비용의 유계성과 최적 전달의 콤팩트성을 증명하여 집중 경계가 가능하게 한다.
• Clarke 규칙성에 의한 편향 없는 기울기 성질을 확립하여 SGD 최적화를 가능하게 한다.
• MBOT이 미니배치에서 바람직하지 않은 샘플 결합을 완화하고 확장 가능한 비용으로 언밸런스 OT에 근접하게 근사함을 보인다.
• 미니배치 OT 손실하에서 임베딩과 라벨 매핑을 공동으로 최적화하는 도메인 적응 방법(jumbot)에 MBOT 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 표준 미니배치 OT가 샘플링과 이상치에 대해 어떻게 동작하며, 주변 제약의 완화가 로버스트성을 개선할 수 있는가?
• RQ2 미니배치 언밸런스드 OT의 통계적 및 최적화 특성은 무엇인가? (존재성, 편향되지 않은 기울기, 집중성)
• RQ3 언밸런스드 MBOT이 균형 OT 및 다른 OT 변형에 비해 향상된 도메인 적응 성능을 제공하는가?
• RQ4 도메인 적응을 위한 경사 기반 학습 및 대규모 신경망 학습에 대한 MBOT의 실용적 영향은 무엇인가?
• RQ5 벤치마크 DA 데이터셋(디지털, Office-Home, VisDA)에서 언밸런스드 MBOT의 성능은 최첨단 방법에 비해 어떤가?

주요 결과

• 언밸런스드 MBOT은 미니배치 수준에서 더 견고한 운송 계획을 산출하여 표준 MBOT에서 보이는 잘못된 클래스 간 짝짓기를 감소시킨다.
• 이론적 결과는 데이터 차원과 무관하게 유한한 UOT 비용, 한정된 최적 계획, 추정치에 대한 집중 경계를 확보한다.
• MBOT은 Clarke 규칙성 하에서 편향되지 않은 기울기 추정치를 제공하여 모델 학습을 위한 SGD 최적화를 가능하게 한다.
• 도메인 적응 문제에 대한 실증 연구는 UOT 기반 방법이 최근 기준선과 경쟁하거나 최첨단 OT 기반 방법을 능가할 수 있음을 보여준다.
• MBOT에서 도출된 기울기는 최적화에 편향을 도입하지 않아 신경망 임베딩과 분류기의 신뢰성 있는 학습을 뒷받침한다.
• 언밸런스드 형식은 OT의 이상치 및 샘플링에 대한 민감도를 완화하여 기울기 흐름과 DA 작업의 안정성을 향상시킨다.