[논문 리뷰] A First-Order Algorithmic Framework for Wasserstein Distributionally Robust Logistic Regression

Jiajin Li, Sen Huang외 1명|arXiv (Cornell University)|2019. 10. 28.

Statistical Methods and Inference참고 문헌 27인용 수 10

한 줄 요약

이 논문은 워샤르슈타인 분포로부르다 로지스틱 회귀(DRLR) 문제를 효율적으로 해결하기 위해 선형화된 프락시멀 ADMM(LP-ADMM)라는 1차 수준 알고리즘 프레임워크를 제안한다. 이 방법은 하위선형 수렴를 달성하며, 실제 및 합성 데이터셋에서 정확도는 유사하게 유지하면서도 표준 솔버 대비 최대 800배 빠른 속도를 기록한다.

ABSTRACT

Wasserstein distance-based distributionally robust optimization (DRO) has received much attention lately due to its ability to provide a robustness interpretation of various learning models. Moreover, many of the DRO problems that arise in the learning context admits exact convex reformulations and hence can be tackled by off-the-shelf solvers. Nevertheless, the use of such solvers severely limits the applicability of DRO in large-scale learning problems, as they often rely on general purpose interior-point algorithms. On the other hand, there are very few works that attempt to develop fast iterative methods to solve these DRO problems, which typically possess complicated structures. In this paper, we take a first step towards resolving the above difficulty by developing a first-order algorithmic framework for tackling a class of Wasserstein distance-based distributionally robust logistic regression (DRLR) problem. Specifically, we propose a novel linearized proximal ADMM to solve the DRLR problem, whose objective is convex but consists of a smooth term plus two non-separable non-smooth terms. We prove that our method enjoys a sublinear convergence rate. Furthermore, we conduct three different experiments to show its superb performance on both synthetic and real-world datasets. In particular, our method can achieve the same accuracy up to 800+ times faster than the standard off-the-shelf solver.

연구 동기 및 목표

• 대규모 학습에서 워샤르슈타인 DRLR 문제에 대해 표준 내부점 솔버의 확장성 한계를 해결한다.
• 비분離형, 비미분 가능 형태의 항을 포함한 DRLR의 볼록 재구성에 특화된 1차 알고리즘 프레임워크를 개발한다.
• 유한한 레이블 신뢰도(κ < ∞)를 가진 DRLR에 대해 효율적인 반복적 방법의 부재를 해결한다. 이는 실용적으로 중요한데도 다뤄지지 않은 케이스이다.
• DRLR의 β-하위문제에 대해 새로운 선형화된 프락시멀 ADMM 접근법의 이론적 수렴 보장을 확립하고, 실증적 효율성을 입증한다.
• 기존 표준 솔버 및 다른 1차 수준 방법 대비 합성 및 실제 데이터셋에서 뛰어난 성능을 보여준다.

제안 방법

• DRLR 수식의 β-하위문제를 해결하기 위해 선형화된 프락시멀 ADMM(LP-ADMM)를 제안한다. 이 하위문제에는 스무스한 로그 손실 항과 두 개의 비분리형 비미분 가능 항이 포함된다.
• 이중 변수 갱신에 대해 1차 국소 모델을 도입하여 표준 2차 형벌을 선형 근사로 대체함으로써 계산 효율성을 향상시킨다.
• 문헌 [19]에서 제시된 DRLR의 정확한 볼록 재구성식을 활용한다. 이는 β와 λ에 대한 최소화 문제이며, β의 쌍대 노름을 포함한 제약 조건이 있다.
• ADMM 하위문제에 프락시멀 항을 도입하여 수렴 안정성을 확보하고, 효율적인 하위문제 해법을 가능하게 한다.
• 불안정한 조건을 가진 실제 데이터에 대해 실용적 성능을 향상시키기 위해 ADMM에 적응형 스텝 사이즈를 구현한다.
• 전체 DRLR 문제를 β와 λ에 대한 교대 최소화를 통해 다루는 보다 넓은 알고리즘 프레임워크에 LP-ADMM를 통합한다.

실험 결과

연구 질문

• RQ1 유한한 레이블 신뢰도(κ < ∞)를 가진 워샤르슈타인 DRLR 문제에 대해 1차 수준 방법이 실용적 효율성과 수렴 보장을 달성할 수 있는가?
• RQ2 선형화된 프락시멀 ADMM는 DRLR의 β-하위문제를 해결할 때 기존 ADMM 및 다른 1차 수준 방법보다 뛰어난 성능을 보이는가?
• RQ3 LP-ADMM의 이론적 및 실증적 성능은 YALMIP 같은 표준 솔버와 비교해 대규모 DRLR 문제에서 어떻게 나타나는가?
• RQ4 제안된 프레임워크는 기존 방법보다 훨씬 더 빠른 수렴을 달성하면서도 높은 테스트 정확도를 유지할 수 있는가?
• RQ5 이중 갱신에 국소 모델을 사용할 경우, 불안정한 조건을 가진 실제 데이터에서 수렴 속도와 강건성이 향상되는가?

주요 결과

• LP-ADMM 방법은 하위선형 수렴 속도를 달성하여 이의 수렴 행동에 대한 이론적 보장을 제공한다.
• 실제 데이터셋에서 LP-ADMM는 YALMIP와 동일한 테스트 정확도를 달성하지만, 최대 800배 더 빠른 속도를 기록하여 뛰어난 계산 효율성을 입증한다.
• 합성 실험에서 LP-ADMM는 SADMM, PDHG, LADMM 및 투영된 하향 기울기 방법보다 수렴 속도와 하위최적성 갭 감소에서 뚜렷한 우월성을 보였다.
• 적응형 LP-ADMM는 대규모 인스턴스에서 더 나은 확장성을 보이며, 문제 크기가 커질수록 성능 우위가 커진다.
• κ = 7인 DRLR 모델은 MNIST 및 a1a를 포함한 모든 테스트 데이터셋에서 표준 로지스틱 회귀 및 정규화된 로지스틱 회귀보다 일관되게 뛰어난 성능을 보였다.
• 기본 1차 수준 방법이 수렴하지 못하는 불안정한 조건을 가진 데이터 행렬에서도 프레임워크는 성공적으로 처리하였으며, LP-ADMM는 강건한 성능을 유지하였다.