[논문 리뷰] Learning in Non-convex Games with an Optimization Oracle

Naman Agarwal, Alon Gonen외 1명|arXiv (Cornell University)|2018. 10. 17.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 5

한 줄 요약

이 논문은 비볼록 설정에서 온라인 학습과 통계적 학습 간의 계산적 동치성을 확립한다. 이를 위해, Follow-the-Perturbed-Leader(FTPL) 알고리즘을 통한 효율적 온라인 학습을 가능하게 하는 흐름이 가해진 최적화 오라클을 도입한다. 핵심 결과는 $\mathrm{poly}(d, 1/\epsilon)$의 다항 오라클 복잡도를 확보하는 것으로, 손실 함수가 약간의 리프시츠 조건과 유계 조건을 만족할 경우 비볼록 게임, 특히 GANs에서의 균형점 계산을 효율적으로 가능하게 한다.

ABSTRACT

We consider online learning in an adversarial, non-convex setting under the assumption that the learner has an access to an offline optimization oracle. In the general setting of prediction with expert advice, Hazan et al. (2016) established that in the optimization-oracle model, online learning requires exponentially more computation than statistical learning. In this paper we show that by slightly strengthening the oracle model, the online and the statistical learning models become computationally equivalent. Our result holds for any Lipschitz and bounded (but not necessarily convex) function. As an application we demonstrate how the offline oracle enables efficient computation of an equilibrium in non-convex games, that include GAN (generative adversarial networks) as a special case.

연구 동기 및 목표

• 온라인 학습과 통계적 학습 간의 계산적 격차를 비볼록 설정에서 해결하고자 하며, 이 경우 일반적으로 온라인 모델이 더 어려운 편이다.
• 약간 강화된 오라클 모델—선형 흐름을 허용하는 것—을 통해 온라인 학습이 통계적 학습만큼 효율적으로 작동할 수 있음을 보이고자 한다.
• 손실 함수가 $G$-리프시츠이자 $B$-유계일 경우, 비볼록 게임에서의 균형점 계산을 효율적으로 수행할 수 있도록, 외부 최적화 오라클을 사용한 흐름이 가해진 목표 함수를 활용하고자 한다.
• FTPL 알고리즘을 비볼록 설정으로 확장하고, 리프시츠 및 유계 조건 하에서 다항 오라클 복잡도를 증명하고자 한다.

제안 방법

• 손실 함수의 시퀀스와 무작위 선형 흐름 벡터 $\sigma$를 수용하는 수정된 오프라인 최적화 오라클을 도입한다.
• 비볼록 설정에서 결정을 안정화하기 위해, i.i.d. 지수 분포를 따르는 무작위 흐름 $\sigma$를 사용한 Follow-the-Perturbed-Leader(FTPL) 알고리즘을 적용한다.
• 누적 손실의 최소화자(최적화자)가 고정 정책의 최적값을 높은 확률로 근사하도록, 랜덤 흐름 전략을 사용한다.
• 농도 및 커버링 추론을 통한 기대 손해 분석을 통해 오라클 복잡도에 대한 다항 bound를 유도한다.
• 흐름이 가해진 오라클을 활용하여, 제어된 오차를 갖는 오프라인 최적화 문제의 시퀀스로 온라인 학습 문제를 환원한다.
• 이론 프레임워크를 두 명의 플레이어가 참여하는 0-합 비볼록 게임에 적용하여, 균형 수렴 문제를 오라클을 통해 최적 반응 문제로 환원함을 보인다.

실험 결과

연구 질문

• RQ1 최적화 오라클이 존재할 경우, 비볼록 설정에서 온라인 학습이 통계적 학습과 계산적으로 동치가 될 수 있는가?
• RQ2 오라클 모델의 목적 함수에 선형 흐름을 허용함으로써, 온라인 학습과 통계적 학습 간의 지수적 격차가 해소되는가?
• RQ3 흐름이 가해진 FTPL 알고리즘이 비볼록, 비볼록-유계, 리프시츠 설정 모두에서 다항 오라클 복잡도를 달성할 수 있는가?
• RQ4 GANs와 같은 비볼록 게임에서의 균형점 계산은, 해당 오프라인 최적 반응 문제를 해결하는 것만큼 어려운가?

주요 결과

• 제안된 알고리즘은 $\mathrm{poly}(d, 1/\epsilon)$의 오라클 복잡도를 달성하며, 동일한 조건 하에서 통계적 학습의 복잡도와 일치한다.
• 흐름이 가해진 FTPL 알고리즘은 $T \in \mathrm{poly}(d)/\epsilon^3$ 라운드 이후 기대 평균 손해가 $\epsilon$ 이하가 되도록 보장한다.
• 손실 함수가 $G$-리프시츠이자 $B$-유계일 경우, 볼록성 조건 없이도 온라인 학습과 통계적 학습 간의 계산적 동치성이 유지된다.
• 두 명의 플레이어가 참여하는 0-합 비볼록 게임에서, 오프라인 오라클을 사용하여 균형점을 높은 확률로 효율적으로 계산할 수 있으며, $\epsilon$-근사 균형에 도달할 가능성이 높다.
• 이 프레임워크는 GANs에 직접 적용 가능하며, 생성자와 판별자 플레이어가 흐름이 가해진 오라클과 FTPL을 사용하여 $\epsilon$-균형에 수렴할 수 있다.
• 결과적으로, [11]에서 지적한 딱지 격차는 오라클 모델에서 흐름이 허용되지 않을 경우에만 발생하며, 본 연구는 이를 해결함으로써 이를 밝혀낸다.