[논문 리뷰] Two-Player Games for Efficient Non-Convex Constrained Optimization

Andrew Cotter, Heinrich Jiang외 1명|arXiv (Cornell University)|2018. 04. 17.

Advanced Bandit Algorithms Research참고 문헌 14인용 수 11

한 줄 요약

이 논문은 편향성 및 강건한 머신러닝에서 흔한 비볼록 제약 최적화 문제에 대해 비가능분할 제약 조건을 처리할 수 있는 비제로섬 두 명의 플레이어 게임 프레임워크인 프록시-라그랑지안을 제안한다. 기존 제약 조건과 미분 가능한 프록시 제약 조건을 분리함으로써, 1차 최적화 방법을 가능하게 하고 최대 $m+1$개의 모델에만 지원되는 해를 보장함으로써 전통적인 라그랑주 방법에 비해 실용적 효율성을 크게 향상시킨다.

ABSTRACT

In recent years, constrained optimization has become increasingly relevant to the machine learning community, with applications including Neyman-Pearson classification, robust optimization, and fair machine learning. A natural approach to constrained optimization is to optimize the Lagrangian, but this is not guaranteed to work in the non-convex setting, and, if using a first-order method, cannot cope with non-differentiable constraints (e.g. constraints on rates or proportions). The Lagrangian can be interpreted as a two-player game played between a player who seeks to optimize over the model parameters, and a player who wishes to maximize over the Lagrange multipliers. We propose a non-zero-sum variant of the Lagrangian formulation that can cope with non-differentiable--even discontinuous--constraints, which we call the "proxy-Lagrangian". The first player minimizes external regret in terms of easy-to-optimize "proxy constraints", while the second player enforces the original constraints by minimizing swap regret. For this new formulation, as for the Lagrangian in the non-convex setting, the result is a stochastic classifier. For both the proxy-Lagrangian and Lagrangian formulations, however, we prove that this classifier, instead of having unbounded size, can be taken to be a distribution over no more than m+1 models (where m is the number of constraints). This is a significant improvement in practical terms.

연구 동기 및 목표

• 정규 라그랑주 방법의 한계를 해결하기 위해 정규 라그랑주 방법이 비볼록이며 비가능분할 제약 최적화 문제에 대해 성립하지 않는 경우, 특히 정의성 및 강건한 머신러닝에서 흔한 문제에 대응한다.
• 비연속적이거나 비부분미분 가능 제약 조건(예: 비율 또는 비율 기반 정의의 정의성 지표)을 가진 문제에 대해 1차 최적화 방법을 가능하게 한다.
• 해를 유한하고 작은 수의 모델 집합에만 지원하는 게임 이론적 수식을 개발함으로써 실용적 구현 가능성을 향상시킨다.
• 원본(모델 파라미터) 및 이중(라그랑주 승수) 플레이어에 대해 위반 제약 조건과 손실에 대한 이론적 보장을 제공한다.

제안 방법

• 비제로섬 두 플레이어 게임을 제안하며, 한 플레이어는 프록시 제약 조건에 대해 외부 손실을 최소화하고, 다른 플레이어는 원래 제약 조건에 대해 스왑 손실을 최소화한다.
• 비가능분할 원래 제약 조건 $g_i$ 를 미분 가능한 프록시 함수 $\tilde{g}_i$ 로 근사하는 프록시-라그랑주 수식을 도입함으로써 기울기 기반 최적화를 가능하게 한다.
• 모든 플레이어에 대해 적응형 스텝 크기를 사용하는 스 tochastic 1차 알고리즘을 적용하며, 근사 베이지안 오рак루와 투영된 업데이트를 사용한다.
• 라그랑주 승수 벡터 $\lambda$ 가 단체 위에 정적 분포를 유지하도록 고정점 투영 $\text{fix}M$ 을 적용한다.
• 손실 최소화 기법을 사용: 모델 파rameter 플레이어에 대해 외부 손실, 이중 승수 플레이어에 대해 스왑 손실.
• 수렴 한계를 유도하여, $T$ 번의 반복 평균이 고려 확률에서 $\epsilon_{\theta}$ 와 $\epsilon_{\lambda}$-최적 해를 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 머신러닝에서 비볼록이며 비가능분할 제약 최적화 문제를 다룰 수 있는 두 플레이어 게임 수식을 설계할 수 있는가?
• RQ2 비연속 제약 조건(예: 정의성 지표 또는 비율 기반 제약 조건)을 가진 문제에 대해 1차 방법을 어떻게 적용할 수 있는가?
• RQ3 이러한 게임 이론적 접근 방식이 비볼록 설정에서 수렴에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ4 원래 문제에 비볼록성과 비연속성 조건이 존재하더라도, 해가 작은 유한한 수의 모델 집합에 대한 분포로 표현될 수 있는가?
• RQ5 이 프레임워크에서 제약 위반과 목적 함수 최적화 간의 상호 교환 관계는 무엇인가?

주요 결과

• 프록시-라그랑주 수식은 모든 해가 최대 $m+1$개의 모델에 대한 분포로 표현될 수 있음을 보장하며, 여기서 $m$ 은 제약 조건의 수이다. 이는 모델 저장 및 추론 비용을 크게 감소시킨다.
• 스토하스틱 1차 변형에 대해, 이 방법은 확률 $1-\delta$ 에서 목적 함수 최적화 갭 $\epsilon_{\theta} = 2B_{\Theta}B_{\check{\Delta}}\sqrt{\frac{1+16\ln\frac{2}{\delta}}{T}}$ 를 달성한다.
• 제약 위반은 고려 확률에서 $\epsilon_{\lambda} = 2B_{\Delta}\sqrt{\frac{2(m+1)\ln(m+1)(1+16\ln\frac{2}{\delta})}{T}}$ 로 유계이다.
• 비가능분할 제약 조건이 존재하더라도, $T$ 라운드 동안의 평균 반복이 목적 함수 및 제약 조건 조건을 $\epsilon$-정확도 내에서 충족함을 보장한다.
• 이론적 프레임워크는 순수 내쉬 균형이 존재하지 않는 비볼록 설정에서도 해가 타당하고 근사 최적임을 보장한다.
• 강건한 비볼록 설정에서 전통적인 라그랑주 방법보다 성능이 뛰어나며, 강력한 이중성에 의존하지 않고 실용적이고 유한한 지원 해를 가능하게 한다.