[논문 리뷰] First-Order Methods with Increasing Iterate Averaging for Solving Saddle-Point Problems

Christian Kroer|arXiv (Cornell University)|2019. 03. 26.

Stochastic Gradient Optimization Techniques참고 문헌 15인용 수 4

한 줄 요약

이 논문은 사 đu르점 문제를 위한 1차 방법에서 최근 반복을 더 높은 가중치로 부여하는 적응형 평균화 기법을 제안하며, 이로써 보장된 $1/T$ 수렴 속도를 확보하면서도 실질적으로 균일 평균화와 마지막 반복보다도 뛰어난 성능을 보인다. 이 방법은 행렬 게임, 파이셔 시장, 이미지 노이즈 제거 문제에서 검증되었으며, 더 뛰어난 수렴성과 안정성을 보였다.

ABSTRACT

First-order methods are known to be among the fastest algorithms for solving large-scale convex-concave saddle-point problems. Algorithms that achieve a theoretical convergence rate on the order of $1/T$ are known, but these often rely on uniformly averaging iterates in order to get the guaranteed rate. In contrast, using the last iterate has repeatedly been found to perform better in practice, but with no guarantee on convergence rate. In this paper we propose using averaging schemes with increasing weight on recent iterates, which leads to a guaranteed $1/T$ convergence rate, while capturing the practical performance of using the last iterate. We show this for Chambolle and Pock's primal-dual algorithm, and mirror prox. We present numerical results on computing Nash equilibria in matrix games, competitive equilibria in Fisher markets, and image denoising via total-variation minimization under the $\ell_1$ norm. In all cases we find that our averaging schemes lead to much better performance than uniform averaging, and sometimes even better performance than using the last iterate.

연구 동기 및 목표

• 선형-볼록 사 đu르점 문제에 대한 1차 방법에서 이론적 수렴 보장과 실질적 성능 사이의 격차를 해소하기 위해.
• 균일 평균화의 한계를 극복하기 위해, 이는 이론적 $1/T$ 수렴을 보장하지만 실질적으로 마지막 반복보다 성능이 열 劣하다.
• 균일 평균화의 이론적 보장을 유지하면서도 마지막 반복의 실증적 효율성을 확보하는 평균화 기법을 설계하기 위해.
• 행렬 게임, 경쟁 균형, 이미지 노이즈 제거와 같은 실제 문제들에서 가중치를 증가시키는 평균화의 효과를 입증하기 위해.
• 강력한 실증적 성능를 보이지만 수렴 속도 보장이 없는 마지막 반복에 대한 이론적으로 탄탄한 대안을 제공하기 위해.

제안 방법

• 1차 원-이중 알고리즘에서 최근 반복에 증가하는 가중치를 할당하는 적응형 평균화 기법을 도입한다.
• 이 기법을 찬볼레와 포크의 원-이중 알고리즘과 미러 프록스 방법에 적용하며, 이는 사 đu르점 문제의 표준 해법이다.
• 새로운 평균화 기법 하에서 이론적 수렴 속도를 유도하며, 양 알고리즘에 대해 $1/T$ 수렴을 증명한다.
• 비감소 가중치를 갖는 반복의 가중 평균을 사용하며, 최근 반복이 이전 반복보다 더 큰 기여를 한다.
• 가중 평균의 재귀적 업데이트 규칙을 활용하여 최적화 도중 효율적인 온라인 계산을 가능하게 한다.
• 세 가지 문제 유형에서 방법을 검증한다: 행렬 게임, 파이셔 시장 균형, $\ell_1$ 노름 하에서의 총 변동성 노이즈 제거.

실험 결과

연구 질문

• RQ1 수렴 속도가 $1/T$ 보장되면서도 마지막 반복의 실질적 성능을 따라잡거나 초월하는 평균화 기법을 설계할 수 있는가?
• RQ2 최근 반복에 더 높은 가중치를 할당할 경우, 1차 사 đu르점 해법에서 수렴 속도와 안정성에 어떤 영향을 미치는가?
• RQ3 실제 응용에서 제안된 기법이 균일 평균화와 마지막 반복을 모두 능가하는가?
• RQ4 찬볼레-포크 및 미러 프록스 알고리즘의 맥락에서 새로운 평균화 기법의 이론적 수렴 행동은 어떠한가?
• RQ5 이 방법은 게임 이론적 균형과 이미지 처리 작업과 같은 다양한 문제 유형으로 일반화될 수 있는가?

주요 결과

• 제안된 가중치 증가 평균화 기법은 이론적 $1/T$ 수렴 속도를 달성하며, 1차 방법에서 확보된 최고 수준의 속도와 일치한다.
• 행렬 게임에서는 새로운 기법이 균일 평균화를 크게 능가했으며, 마지막 반복과 수렴 속도에서 비슷하거나 뛰어났다.
• 파이셔 시장의 경쟁 균형 문제에서는 균일 평균화보다 더 빠른 수렴과 향상된 안정성을 보였다.
• 총 변동성 이미지 노이즈 제거 문제에서는 균일 평균화보다 더 나은 목적 함수 값 감소를 이끌었으며, 가끔 마지막 반복을 뛰어넘기도 하였다.
• 수치적 결과는 이 방법이 균일 평균화를 일관되게 능가하고, 때로는 마지막 반복의 실질적 성능을 초월함을 보여주었다.
• 이론적 보장과 실증적 성과는 다양한 문제 영역에서 일관되며, 이 기법의 강건성을 검증한다.