[논문 리뷰] Dualize, Split, Randomize: Fast Nonsmooth Optimization Algorithms.

Adil Salim, Laurent Condat외 2명|arXiv (Cornell University)|2020. 04. 03.

Stochastic Gradient Optimization Techniques참고 문헌 14인용 수 6

한 줄 요약

이 논문은 분산 감소 기법과 새로운 확률적 Davis-Yin 분할 프레임워크를 사용하여, 매끄럽고(가능한 경우 확률적), 프록시 가능하며 선형 사상과 조합된 세 개의 볼록 함수의 합을 최소화하기 위한 새로운 원시-이중 알고리즘을 제안한다. 강한 볼록성 여부에 따라 하위선형 또는 선형 수렴 속도를 달성하며, 이전 방법이 다루지 못하는 설정을 포함하여 정확한 수렴을 보장한다.

ABSTRACT

We introduce new primal-dual algorithms to minimize the sum of three convex functions, each having its own oracle. Namely, the first one is differentiable, smooth and possibly stochastic, the second is proximable, and the last one is a composition of a proximable function with a linear map. By leveraging variance reduction, we prove convergence to an exact solution with sublinear or linear rates, depending on strong convexity properties. The proposed theory is simple and unified by the umbrella of stochastic Davis-Yin splitting, which we first design in this work. Our theory covers several settings that are not tackled by any existing algorithm; we illustrate their importance with real-world applications and we show the efficiency of our algorithms by numerical experiments.

연구 동기 및 목표

• 다양한 오라클 유형을 가진 세 볼록 함수의 합을 최소화하기 위한 기존 최적화 알고리즘의 격차를 메우기 위해.
• 이전 방법이 실패하거나 비효율적인 비매끄럽고 복합적이며 확률적인 설정에서 정확한 수렴을 가능하게 하기 위해.
• 새로운 확률적 Davis-Yin 분할 프레임워크를 통해 기존 접근법을 통합하고 확장하기 위해.
• 매끄럽고(가능한 경우 확률적), 프록시 가능하며 선형으로 구성된 볼록 함수를 동시에 처리할 수 있는 알고리즘을 설계하기 위해.
• 실세계 응용과 수치 실험을 통해 실용적 효율성을 입증하기 위해.

제안 방법

• 이 연구에서 새로 개발한 이론적 프레임워크인 확률적 Davis-Yin 분할 기반의 원시-이중 알고리즘을 제안한다.
• 최적화 문제를 세 구성요소로 분해한다: 매끄럽고(가능한 경우 확률적)인 함수, 프록시 가능한 함수, 그리고 선형 사상과 조합된 프록시 가능한 함수.
• 수렴 가속과 정확한 해 복원을 보장하기 위해 분산 감소 기법을 활용한다.
• 복합 항을 처리하기 위해 이중화를 사용하고 문제를 다룰 수 있는 부분문제로 분할한다.
• 확률적 설정에서의 강건성과 확장성 향상을 위해 랜덤화를 통합한다.
• 새로운 확률적 Davis-Yin 분할 프레임워크에 기반한 통합 이론적 분석을 통해 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 다양한 오라클 유형을 가진 세 볼록 함수의 합을 효율적으로 처리할 수 있는 단일 알고리즘 프레임워크를 설계할 수 있는가?
• RQ2 정확한 수렴을 비매끄럽고 확률적 설정에서 달성하기 위해 분산 감소를 원시-이중 분할과 효과적으로 통합할 수 있는가?
• RQ3 강한 볼록성 가정이 다양한 조건에서 이러한 알고리즘의 수렴 속도는 어떻게 되는가?
• RQ4 제안된 방법은 기존 최적화 알고리즘으로 다루지 못하는 문제 클래스를 커버할 수 있는가?
• RQ5 현존하는 최고 수준의 방법과 비교해 실세계 응용에서 알고리즘이 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 알고리즘은 일반적인 볼록성 가정 하에 최적 해로의 정확한 수렴을 달성한다.
• 강한 볼록성이 없는 문제에 대해서는 하위선형 수렴 속도가 확립되었고, 강한 볼록성이 존재할 경우 선형 수렴 속도를 달성한다.
• 이 방법은 매끄럽고(가능한 경우 확률적), 프록시 가능하며 선형으로 구성된 프록시 가능한 함수의 합을 단일 통합 프레임워크 내에서 처리하는 데 있어 최초의 시도이다.
• 분산 감소가 원시-이중 분할 과정에 성공적으로 통합되어, 확률적 설정에서 효율적이고 안정적인 수렴을 가능하게 한다.
• 수치 실험을 통해 제안된 알고리즘이 기존 방법에 비해 실세계 응용에서 효율성과 우수성을 입증한다.
• 이 연구에서 도입된 확률적 Davis-Yin 분할 프레임워크는 이러한 알고리즘의 분석 및 설계를 위한 통합 이론을 제공한다.