[논문 리뷰] Unbalanced Optimal Transport through Non-negative Penalized Linear Regression

Laëtitia Chapel, Rémi Flamary외 3명|arXiv (Cornell University)|2021. 06. 08.

Multi-Criteria Decision Making인용 수 9

한 줄 요약

이 논문은 비균형 최적 운반(UOT)을 비음수 정규화된 선형 회귀 문제로 재구성하여, 주요화-최소화(MM) 및 정규화 경로 계산을 통한 새로운 알고리즘을 가능하게 한다. KL 및 ℓ₂-정규화된 UOT에 대한 승법적 업데이트를 도입하고, ℓ₂-UOT에 대해 처음으로 정규화 경로 알고리즘을 제안하여 GPU 호환성과 수렴 보장을 갖춘 효율적이고 희소한 해를 제공한다.

ABSTRACT

This paper addresses the problem of Unbalanced Optimal Transport (UOT) in which the marginal conditions are relaxed (using weighted penalties in lieu of equality) and no additional regularization is enforced on the OT plan. In this context, we show that the corresponding optimization problem can be reformulated as a non-negative penalized linear regression problem. This reformulation allows us to propose novel algorithms inspired from inverse problems and nonnegative matrix factorization. In particular, we consider majorization-minimization which leads in our setting to efficient multiplicative updates for a variety of penalties. Furthermore, we derive for the first time an efficient algorithm to compute the regularization path of UOT with quadratic penalties. The proposed algorithm provides a continuity of piece-wise linear OT plans converging to the solution of balanced OT (corresponding to infinite penalty weights). We perform several numerical experiments on simulated and real data illustrating the new algorithms, and provide a detailed discussion about more sophisticated optimization tools that can further be used to solve OT problems thanks to our reformulation.

연구 동기 및 목표

• 불균형하거나 노이즈가 있는 분포가 존재하는 상황에서 고전적 최적 운반의 한계를 해결하기 위해 변동 조건을 완화한다.
• 엔트로피 정규화 없이도 비균형 최적 운반(UOT)을 위한 효율적이고 희소한 해법을 개발한다.
• ℓ₂-정규화된 UOT의 전체 정규화 경로 계산을 가능하게 하여 초모수 튜닝에 핵심적인 기여를 한다.
• 역문제와 비음수 행렬 분해(NMF)에서 기존에 사용되는 도구를 활용하여 새로운 UOT 알고리즘을 설계한다.
• UOT를 선형 회귀와 연결하는 통합 프레임워크를 제공하여 새로운 알고리즘적 및 이론적 방향을 열어 놓는다.

제안 방법

• 구조적이고 희소한 설계 행렬을 갖는 볼록이고 비음수 정규화된 선형 회귀 문제로 UOT를 재구성한다.
• 주요화-최소화(MM)를 적용하여 브레그만 발산에 대한 다항적 업데이트 규칙을 유도하며, 이는 KL 및 ℓ₂ 페널티를 포함한다.
• ℓ₂-정규화된 UOT에 대한 전체 정규화 경로를 계산하기 위해 LARS 유사 알고리즘을 제안한다.
• 설계 행렬의 구조를 활용하여 효율적인 GPU 가속 업데이트와 저복잡도 반복을 가능하게 한다.
• 비용 함수가 오목일 경우를 다루기 위해 비선형 UOT로의 확장을 위해 비선형 비용 함수를 탄성 근사로 주요화한다.
• 목적 함수의 단조 감소를 보장하고 기존 MM 이론에서 유도된 수렴 보장을 그대로 이어받는다.

실험 결과

연구 질문

• RQ1 비균형 최적 운반을 비음수 정규화된 선형 회귀 문제로 재구성할 수 있는가? 이는 새로운 알고리즘 도구를 열어줄 수 있는가?
• RQ2 주요화-최소화(MM)는 KL 및 ℓ₂-정규화된 UOT에 대해 효율적이고 승법적 업데이트를 유도하기 위해 어떻게 적응될 수 있는가?
• RQ3 ℓ₂-정규화된 UOT에 대해 전체 정규화 경로를 계산할 수 있는가? 이는 지지집합의 진화에 대해 어떤 통찰을 제공하는가?
• RQ4 기존 엔트로피 정규화 또는 L-BFGS-B 솔버와 비교해 볼 때, 제안된 알고리즘은 효율성과 희소성 측면에서 어떻게 성능을 내는가?
• RQ5 선형 회귀 재구성은 오목 비용 함수를 갖는 비선형 UOT 문제로 확장될 수 있는가?

주요 결과

• KL 및 ℓ₂-정규화된 UOT에 대해 제안된 MM 기반 승법적 업데이트는 목적 함수의 단조 감소를 보장하며, 낮은 반복 복잡도로 쉽게 구현할 수 있다.
• 알고리즘은 GPU 호환성을 갖추고 있으며, 기존 MM 이론에서 유도된 수렴 보장을 그대로 이어받는다.
• ℓ₂-정규화된 UOT에 대해 처음으로 정규화 경로 알고리즘을 제안하여 모든 페널티 가중치에 대해 조각별 선형 해를 계산한다.
• 정규화 경로는 지지집합 진화의 연속성을 드러내며, 페널티 가중치가 증가함에 따라 균형 최적 운반(OT) 해로 수렴함을 보여준다.
• 재구성 덕분에 역문제와 NMF에서 유래한 고급 도구를 활용할 수 있으며, 이는 효율적 해법과 새로운 UOT 공식화 방향을 제안한다.
• 수치 실험을 통해 제안된 알고리즘이 합성 및 실제 데이터 모두에서 효율성과 강건성을 입증한다.