[논문 리뷰] Efficient Methods for Structured Nonconvex-Nonconcave Min-Max Optimization

Jelena Diakonikolas, Constantinos Daskalakis외 1명|arXiv (Cornell University)|2020. 10. 31.

Stochastic Gradient Optimization Techniques참고 문헌 41인용 수 14

한 줄 요약

이 논문은 일반적인 ℓp-노름 공간에서 결정론적 및 스토하스틱 설정 모두에서 정류점으로의 증명 가능 수렴을 보장하는 일반화된 외거법 알고리즘을 제안하는, 구조화된 비볼록-비볼류프(min-max) 최적화 문제의 새로운 클래스를 소개한다. 이 방법은 최적의 반복 및 샘플 복잡도 한계를 달성하며, 기존의 더 일반성이 떨어지는 설정(예: 변분 일관성 또는 약한 해 존재성)에 비해 향상된 결과를 제공한다.

ABSTRACT

The use of min-max optimization in adversarial training of deep neural network classifiers and training of generative adversarial networks has motivated the study of nonconvex-nonconcave optimization objectives, which frequently arise in these applications. Unfortunately, recent results have established that even approximate first-order stationary points of such objectives are intractable, even under smoothness conditions, motivating the study of min-max objectives with additional structure. We introduce a new class of structured nonconvex-nonconcave min-max optimization problems, proposing a generalization of the extragradient algorithm which provably converges to a stationary point. The algorithm applies not only to Euclidean spaces, but also to general $\ell_p$-normed finite-dimensional real vector spaces. We also discuss its stability under stochastic oracles and provide bounds on its sample complexity. Our iteration complexity and sample complexity bounds either match or improve the best known bounds for the same or less general nonconvex-nonconcave settings, such as those that satisfy variational coherence or in which a weak solution to the associated variational inequality problem is assumed to exist.

연구 동기 및 목표

• 표준 1차 방법이 수렴 보장을 갖지 못하는 일반적인 비볼록-비볼류프 min-max 문제의 비가역성 문제를 해결하기 위해.
• 볼록-볼류프 구조가 없음에도 불구하고 정류점을 효율적으로 계산할 수 있는 새로운 구조화된 비볼록-비볼류프 문제의 클래스를 규명하기 위해.
• 유한 차원 ℓp-노름 공간(유클리드 공간 포함)에서 정류점으로 수렴하는 일반화된 외거법 알고리즘을 개발하기 위해.
• 스토하스틱 오라클 하에서 날카운 반복 및 샘플 복잡도 한계를 확립하여, 더 일반성이 떨어지는 설정에서 알려진 한계를 향상시키기 위해.
• Minty 변분부등식(MVI) 해가 존재하는 경우에도 이론적 보장을 확장하여 기존의 구조화된 클래스에 대한 적용 범위를 넓히기 위해.

제안 방법

• 기존 문제들(예: 변분 일관성 또는 MVI 해 존재성)을 일반화하는 새로운 구조화된 비볼록-비볼류프 min-max 문제의 클래스를 도입한다.
• ℓp-노름 공간에서 이중 단계를 포함한 프록시미티 유사 업데이트를 사용하는 일반화된 외거법 알고리즘을 제안하며, ℓp와 ℓp* 노름 간의 쌍대성 활용.
• 반복 복잡도 한계 확보를 위해 ℓp-노름의 p제곱을 기반으로 한 리아푸노프 함수를 도입하여, 텔레스코프적 추론 가능하게 분석.
• ε-근사 정류점에 대해 반복 복잡도 O((L‖u*−u₀‖ₚ/ε)^p)를 도출하며, 여기서 L은 부드러움 파라미터이다.
• 스토하스틱 기울기에서 분산 σ²을 가정할 경우, 각 반복에서의 샘플 복잡도를 O(pσ^{p*}/ε^{p*})로 확립하며, 단계당 n개의 샘플을 사용.
• 리아푸노프 함수의 감소를 보장하고 오차 항을 제어하기 위해 파라미터 선택 전략(예: β=1/2, a=1/(4Λ), τ^p=1/4)을 사용.

실험 결과

연구 질문

• RQ1 볼록-볼류프 사례를 초월하여, 구조화된 비볼록-비볼류프 min-max 문제에 대해 증명 가능 수렴성을 갖는 알고리즘을 설계할 수 있는가?
• RQ2 ℓp-노름 공간에서 ε-근사 정류점을 찾는 데 최적의 반복 및 샘플 복잡도는 무엇인가?
• RQ3 외거법은 유클리드 공간을 초월하여 임의의 ℓp-노름 유한 차원 공간에서 일반화될 수 있는가?
• RQ4 스토하스틱 오라클 하에서 알고리즘이 어떻게 작동하며, 주어진 정확도를 달성하기 위해 필요한 샘플 복잡도는 무엇인가?
• RQ5 정류점의 계산 가능성을 유지하면서, 구조적 가정을 얼마나 느슨하게 할 수 있는가?

주요 결과

• 제안된 알고리즘은 ε-근사 정류점을 찾는 데 O((L‖u*−u₀‖ₚ/ε)^p)의 반복 복잡도를 달성하며, 더 일반성이 떨어지는 설정에서 알려진 한계와 동일하거나 이를 초월한다.
• 각 반복에서의 샘플 복잡도는 O(pσ^{p*}/ε^{p*})이며, 총 쿼리 수는 k(1+n)로 제한되며, 여기서 k와 n는 ε 정확도를 확보하기 위해 선택된다.
• 알고리즘은 스토하스틱 오라클 하에서도 안정적이며, 기울기가 노이즈가 있는 추정을 통해 제공되더라도 수렴 보장이 있다.
• 알고리즘은 임의의 ℓp-노름 공간으로 일반화되어 유클리드 공간을 초월하는 광범위한 적용 가능성을 제공한다.
• 분석을 통해 문제 클래스는 적어도 하나의 정류점(SVE 해)을 포함함을 입증하여, 의미 있는 해의 존재를 보장한다.
• 결과는 Minty 변분부등식(MVI) 해가 존재하는 경우에도 확장되며, 이는 이전의 변분 일관성에 대한 연구를 일반화한다.