[논문 리뷰] Stability and Generalization of Stochastic Gradient Methods for Minimax Problems

Yunwen Lei, Zhenhuan Yang외 2명|arXiv (Cornell University)|2021. 05. 08.

Stochastic Gradient Optimization Techniques참고 문헌 61인용 수 7

한 줄 요약

이 논문은 최소최대 최적화에서 확률적 경사 하강상승(SGDA)에 대한 처음으로 고확률 일반화 경계를 확립하며, 볼록-볼록형과 비볼록-비볼록형 설정을 모두 포함한다. 알고리즘 안정성과 일반화의 관계를 연결하는 새로운 안정성 기반 분석을 제안하여, 부드럽지 않은 경우조차도 최적의 인구 위험 경계를 도출한다. 실험을 통해 GAN에서 시간이 지남에 따라 매개변수 거리가 증가하는 것을 확인하여 이론을 검증한다.

ABSTRACT

Many machine learning problems can be formulated as minimax problems such as Generative Adversarial Networks (GANs), AUC maximization and robust estimation, to mention but a few. A substantial amount of studies are devoted to studying the convergence behavior of their stochastic gradient-type algorithms. In contrast, there is relatively little work on their generalization, i.e., how the learning models built from training examples would behave on test examples. In this paper, we provide a comprehensive generalization analysis of stochastic gradient methods for minimax problems under both convex-concave and nonconvex-nonconcave cases through the lens of algorithmic stability. We establish a quantitative connection between stability and several generalization measures both in expectation and with high probability. For the convex-concave setting, our stability analysis shows that stochastic gradient descent ascent attains optimal generalization bounds for both smooth and nonsmooth minimax problems. We also establish generalization bounds for both weakly-convex-weakly-concave and gradient-dominated problems.

연구 동기 및 목표

• 최소최대 문제에서 확률적 경사 방법의 일반화 분석 격차를 메우며, 특히 비볼록-비볼록형 및 부드럽지 않은 설정에서.
• 알고리즘 안정성과 최소최대 최적화에서 여러 형태의 일반화(직접형, 쌍대형, 고확률형) 사이의 정량적 연결을 수립하기.
• 초기 정지 조건 하에서 SGDA에 대한 최적의 인구 위험 경계를 유도하며, 이전 연구에서 고확률 또는 부드럽지 않은 경우의 보장을 누락한 점을 보완하기.
• GAN에서의 실험 결과를 통해 이론적 발견을 검증하며, 훈련 과정에서 이웃하는 데이터셋에 기반한 모델 간의 매개변수 거리가 증가하는 것을 보여주기.

제안 방법

• 안정성-일반화 분석에서 직접형과 쌍대형 모델 간의 상관관계를 다루기 위해 새로운 분해 기법을 제안.
• 알고리즘 안정성 이론을 사용하여 이웃하는 훈련 세트 간 모델 행동의 차이를 제한.
• 단일 훈련 예제를 제거했을 때 모델 매개변수의 기대 변화를 기반으로 한 안정성 측도를 도입.
• 집중 불등식과 리프시츠 연속성의 활용으로 기대값과 고확률 경계를 도출.
• 초기 정지를 적용하여 볼록-볼록형 설정에서 최적의 인구 위험 경계를 달성.
• 약한 볼록성-약한 볼록성 감쇠 또는 이중측 PL 조건과 같은 정규성 조건 하에서 비볼록-비볼록 문제로 분석을 확장.

실험 결과

연구 질문

• RQ1 알고리즘 안정성이 최소최대 문제에서 SGDA에 대한 고확률 일반화 경계를 도출하는 데 사용될 수 있는가?
• RQ2 특히 부드럽지 않은 경우에 대해, 볼록-볼록형 최소최대 문제에서 SGDA의 최적 인구 위험 경계는 무엇인가?
• RQ3 부드럽지 않은 목표 함수를 가진 비볼록-비볼록 최소최대 문제로 안정성 분석은 어떻게 확장되는가?
• RQ4 비볼록-비볼록 설정에서 의미 있는 일반화 경계를 도출하기 위해 어떤 정규성 조건이 필요한가?
• RQ5 SGDA 훈련 과정에서 이웃하는 데이터셋에 기반한 모델 간의 매개변수 거리는 어떻게 변화하는가?

주요 결과

• 논문은 최소최대 문제에서 SGDA에 대한 처음으로 고확률 일반화 경계를 확립하였으며, 이는 볼록-볼록형과 비볼록-비볼록형 설정 모두에 적용 가능하다.
• 볼록-볼록형 문제에서는 초기 정지 조건 하에서도 부드럽지 않은 경우조차도 최적의 인구 위험 경계를 달성한다.
• 분석 결과 일반화 오차는 최적화 궤적과 연관된 매개변수의 역수를 포함하는 안정성 측도에 의해 제어됨을 보여준다.
• 비볼록-비볼록 설정에서는 약한 볼록성-약한 볼록성 매개변수 감쇠 또는 이중측 PL 조건과 같은 조건 하에서 일반화 경계를 도출한다.
• GAN에서의 실험 결과는 이웃하는 데이터셋에 기반한 모델 간의 매개변수 거리가 증가하는 것을 확인하여 이론적 안정성 분석을 지지한다.
• 볼록-볼록형 설정에서 SGDA의 경계가 최적임을 입증하였으며, 이는 이전 연구에서 지수적으로 증가하는 경계를 도출한 점을 개선한다.