[논문 리뷰] A Simulated Annealing based Inexact Oracle for Wasserstein Loss Minimization

Jianbo Ye, James Z. Wang외 1명|arXiv (Cornell University)|2016. 08. 12.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 3

한 줄 요약

이 논문은 워셔스타인 손실 기울기를 효율적으로 근사하기 위해 길버스 샘플링을 사용하는 시뮬레이티드 어닐링 기반의 비정확 오라클인 Gibbs-OT를 제안한다. 수치적 안정성, 온전한 시작, 그리고 각 반복의 낮은 복잡도를 통해 Gibbs-OT는 워셔스타인 비음수 행렬 분해와 쿠론 상호작용 비용을 가진 최적 운반 문제에서 엔트로피 정규화 방법을 능가하는 속도와 성분의 날카움을 유지하면서도 강건성을 확보한다.

ABSTRACT

Learning under a Wasserstein loss, a.k.a. Wasserstein loss minimization (WLM), is an emerging research topic for gaining insights from a large set of structured objects. Despite being conceptually simple, WLM problems are computationally challenging because they involve minimizing over functions of quantities (i.e. Wasserstein distances) that themselves require numerical algorithms to compute. In this paper, we introduce a stochastic approach based on simulated annealing for solving WLMs. Particularly, we have developed a Gibbs sampler to approximate effectively and efficiently the partial gradients of a sequence of Wasserstein losses. Our new approach has the advantages of numerical stability and readiness for warm starts. These characteristics are valuable for WLM problems that often require multiple levels of iterations in which the oracle for computing the value and gradient of a loss function is embedded. We applied the method to optimal transport with Coulomb cost and the Wasserstein non-negative matrix factorization problem, and made comparisons with the existing method of entropy regularization.

연구 동기 및 목표

• 정확한 최적 운반(OT) 해법이 O(m³ log m) 복잡도로 비용이 너무 많이 들기 때문에 워셔스타인 손실 최소화(WLM)에서 발생하는 계산적 병목 현상을 해결하기 위해.
• 다중 수준 반복적 WLM 문제에 대해 온전한 시작과 조기 정지 기능을 지원하는 빠르고 수치적으로 안정적인 비정확 오라클을 개발하기 위해.
• 반복적인 OT 해법이 필요한 워셔스타인 NMF 및 쿠론 상호작용 비용을 가진 최적 운반 문제와 같은 WLM 작업에서 효율적인 최적화를 가능하게 하기 위해.
• 부드러운 아티팩트를 피하고 분해 과정에서 성분의 날카움을 향상시키는 엔트로피 정규화의 대안을 제공하기 위해.

제안 방법

• 워셔스타인 손실의 부분 기울기를 근사하기 위해 시간에 따라 변하는 길버스 샘플러를 확률적 오라클로 사용한다.
• 진행적인 온도 감소를 통해 시뮬레이티드 어닐링을 적용하여 저에너지 상태로 수렴하게 하여 최적 운반 계획과 유사한 상태를 얻는다.
• OT의 이중 형태를 활용하여 메트로폴리스-해스팅스 제안을 길버스 업데이트로 단순화함으로써 효율성을 향상시킨다.
• 기저 벡터와 소속 가중치의 공동 최적화를 위해 온라인 미러 디센트(OMD) 및 가속 미러 디센트(AMD)에 Gibbs-OT 오라클을 통합한다.
• 온도 어닐링을 적용: T := T(1 − √(1/(m + m̄))), 이는 운반 계획의 점진적 정밀화를 가능하게 한다.
• 이전 MCMC 샘플을 초기 상태로 재사용함으로써 온전한 시작을 지원하여 연속적인 OT 문제 간 혼합 시간을 단축시킨다.

실험 결과

연구 질문

• RQ1 길버스 샘플링과 같은 마르코프 체인 몬테카를로 방법이 워셔스타인 손실 최소화에 대해 수치적으로 안정적이고 효율적인 비정확 오라클을 제공할 수 있는가?
• RQ2 Gibbs-OT 방법이 효과적인 온전한 시작과 조기 정지를 통해 WLM 문제에서 더 빠른 수렴을 이룰 수 있는가?
• RQ3 워셔스타인 NMF에서 엔트로피 정규화와 비교해 볼 때 Gibbs-OT는 솔루션 품질과 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ4 Gibbs-OT는 부드러운 엔트로피 정규화 방법보다 분해 과제에서 더 날카운 성분을 유지할 수 있는가?

주요 결과

• MNIST ‘5’ 이미지에서는 평균 에포크 시간이 0.84초, ORL 얼굴 이미지에서는 16.8초를 기록하여 상용 선형계획법 솔버 대비 두 배수의 속도 향상을 보였다.
• Gibbs-OT를 사용해 학습된 성분들은 엔트로피 정규화된 W-NMF보다 더 날카로웠으며, 구조적 세부 정보의 보존이 더 잘 이루어졌음을 시사했다.
• 얼굴 이미지 성분에서 소금과胡椒 소음이 관찰되었으며, 이는 워셔스타인 거리가 서브픽셀 수준의 질량 이동에 민감하지 않다는 점과 일치했다.
• 특히 반복적인 WLM 환경에서 전통적인 OT 솔버보다 향상된 수치적 안정성과 강건성을 보였다.
• Gibbs-OT는 효과적인 온전한 시작을 가능하게 하여 이전 MCMC 상태를 재사용함으로써 다중 에포크 최적화에서 반복 시간을 크게 단축시켰다.