[논문 리뷰] An accelerated inexact proximal point method for solving nonconvex-concave min-max problems

Weiwei Kong, Renato D. C. Monteiro|arXiv (Cornell University)|2019. 05. 31.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 16

한 줄 요약

이 논문은 비볼록-볼록 최소최대 문제를 해결하기 위해 비연속적인 최대 항을 매끄러운 대체 함수로 근사한 후, 이를 바탕으로 가속된 비정확한 프락시멀 포인트 방법을 적용하는 가속된 비정확한 프락시멀 포인트 스무딩(AIPP-S) 방법을 제안한다. 주요 기여는 비볼록-볼록 최소최대 문제에 대해 근사적인 프락시멀-이중 정류성에 도달하기 위한 오라클 호출 횟수의 반복 복잡도 상한 𝒪(ρₓ⁻²ρᵧ⁻¹/²)과 방향 도함수 정류성에 대한 𝒪(δ⁻³)을 확립한 것으로, 수치 결과를 통해 효율성을 입증한다.

ABSTRACT

This paper presents smoothing schemes for obtaining approximate stationary points of unconstrained or linearly-constrained composite nonconvex-concave min-max (and hence nonsmooth) problems by applying well-known algorithms to composite smooth approximations of the original problems. More specifically, in the unconstrained (resp. constrained) case, approximate stationary points of the original problem are obtained by applying, to its composite smooth approximation, an accelerated inexact proximal point (resp. quadratic penalty) method presented in a previous paper by the authors. Iteration complexity bounds for both smoothing schemes are also established. Finally, numerical results are given to demonstrate the efficiency of the unconstrained smoothing scheme.

연구 동기 및 목표

• 비연속적이며 비볼록-볼록 최소최대 문제를 일阶 방법에 적합한 매끄러운 근사로 변환할 수 있는 스무딩 기법을 개발하기 위해.
• 비제약 및 선형 제약 조건이 있는 설정에서 근사적인 프락시멀-이중 정류점에 도달하기 위한 반복 복잡도 상한을 확립하기 위해.
• 스무딩과 페널티 기법을 통해 가속된 비정확한 프락시멀 포인트 방법을 복합 비볼록-볼록 문제에 확장하기 위해.
• 비제약 및 제약 조건이 있는 형태 모두에서 오라클 복잡도 측면에서 수렴 속도에 대한 이론적 보장을 제공하기 위해.

제안 방법

• 최소최대 문제의 최대 항을 편경된 이중 공식화를 통해 매끄러운 근사로 대체하는 스무딩 기법을 도입한다.
• 스무딩된 복합 문제에 대해 가속된 비정확한 프락시멀 포인트(AIPP) 방법을 적용하며, ∇ₓΦ, h 및 프락시멀 해를 효율적으로 접근할 수 있는 오라클에 의존한다.
• 프락시멀-이중 공식화를 통해 (ρₓ, ρᵧ)-정류성을 정의하여, 원천 변수와 이중 변수 양쪽에서 유한한 부분도함수를 확보한다.
• 제약 조건이 있는 문제의 경우, 선형 제약을 다루기 위해 제곱 페널티 방법을 활용하며, 페널티 부분문제를 매끄러운 대체 함수로 근사한다.
• 스무딩 파rameter, 페널티 파rameter 및 프락시멀 부분문제 해의 정확도 간의 상호작용을 분석함으로써 복잡도 상한을 유도한다.
• Φ(·,y) + m‖·‖²/2의 볼록성과 그 기울기의 리프시츠 연속성을 보장하는 가정에 기반한다. 이를 통해 매끄러운 근사를 가능하게 한다.

실험 결과

연구 질문

• RQ1 가속된 비정확한 프락시멀 포인트 방법을 스무딩을 통해 비볼록-볼록 최소최대 문제에 적응시킬 수 있는가?
• RQ2 비제약 조건에서 (ρₓ, ρᵧ)-프락시멀-이중 정류성에 도달하기 위한 반복 복잡도는 얼마인가?
• RQ3 방향 도함수 조건을 어떻게 활용하여 더 나은 복잡도 상한을 가진 더 약한 정류성 개념을 정의할 수 있는가?
• RQ4 제곱 페널티 방법을 스무딩과 AIPP와 결합하여 선형 제약 조건이 있는 비볼록-볼록 문제를 해결할 수 있는가?
• RQ5 제약 조건이 있는 정류성에 도달하기 위해 얻어진 QP-AIPP-S 체계의 오라클 복잡도는 얼마인가?

주요 결과

• 비제약 문제에서 AIPP-S 체계는 (ρₓ, ρᵧ)-프락시멀-이중 정류성에 𝒪(ρₓ⁻²ρᵧ⁻¹/²) 오라클 호출로 도달한다.
• 비제약 문제의 다른 AIPP-S 변형은 inf‖d‖≤1 p′(x;d) ≥ -δ 이고 ‖x - x̂‖ ≤ δ 를 만족하는 점 x를 𝒪(δ⁻³) 오라클 호출로 계산한다.
• 선형 제약 조건이 있는 문제의 경우, QP-AIPP-S 체계는 𝒪(ρₓ⁻²ρᵧ⁻¹/²η⁻¹) 오라클 호출로 정류성 조건을 만족하는 오각형을 계산한다.
• 매끄러운 근사와 강한 볼록성에 의해, 방향 도함수 정류성과 프락시멀 정류성 간의 연결 고리를 설정한다.
• 수치 결과는 실용적으로 비제약 스무딩 체계의 효율성을 확인한다.
• 이론적 분석은 Φ와 h에 대해 적절한 정규성 조건이 만족될 경우 스무딩이 AIPP 방법의 수렴 성질을 유지함을 보여준다.