[논문 리뷰] Online Stochastic Optimization with Multiple Objectives

Mehrdad Mahdavi, Tianbao Yang외 1명|arXiv (Cornell University)|2012. 11. 26.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 8

한 줄 요약

이 논문은 랜덤 제1차 정보를 갖는 다중 목표를 가진 온라인 볼록 최적화를 위한 효율적인 원시-이중 확률적 경사 하강 알고리즘을 제안한다. 문제를 하나의 목표와 다른 목표들의 임계값을 갖는 제약 최적화 문제로 재구성함으로써, 오직 리프시츠 연속성 조건만을 가정할 경우에도 높은 확률로 최적의 O(1/√T) 수렴 속도를 달성하며, 이는 이전의 샘플링 기반 접근 방식보다 우수하다. 이전 방법들은 강한 균일 수렴 가정을 필요로 한다.

ABSTRACT

In this paper we propose a general framework to characterize and solve the stochastic optimization problems with multiple objectives underlying many real world learning applications. We first propose a projection based algorithm which attains an $O(T^{-1/3})$ convergence rate. Then, by leveraging on the theory of Lagrangian in constrained optimization, we devise a novel primal-dual stochastic approximation algorithm which attains the optimal convergence rate of $O(T^{-1/2})$ for general Lipschitz continuous objectives.

연구 동기 및 목표

• 오직 랜덤 제1차 오рак루스만 제공되는 다수의 상충하는 목표를 가진 온라인 스토하스틱 볼록 최적화 문제를 다루는 것.
• 균일 수렴 또는 고정된 가중치 설정에 의존하는 기존 방법의 한계를 극복하는 것.
• 보조 목표의 제약 임계값을 충족시키면서도 최적의 수렴 속도를 달성하는 알고리즘을 개발하는 것.
• 최소한의 가정 하에 수렴성과 제약 위반에 대한 이론적 보장을 제공하는 것.

제안 방법

• 한 목표를 주요 목적으로 간주하고 나머지 목표들을 사용자가 정의한 임계값을 갖는 부등식 제약으로 간주하여 다중 목표 문제를 제약 최적화 문제로 재구성한다.
• 라그랑주 이중성에 기반한 원시-이중 확률적 경사 하강 프레임워크를 활용하여 목표 함수와 제약 조건을 동시에 최적화한다.
• 제약 위반을 제어하기 위해 적응형 이중 변수를 사용하는 수정된 이중 업데이트 규칙을 적용하여 타당해에 수렴하도록 보장한다.
• 서브가우시안 尾 확률 부등식을 사용하여 고전적 농도의 농도 보장을 유도함으로써 유한 샘플 성능 보장을 도출한다.
• 이중 변수의 상한을 추정하기 위해 최대 제약 조건 재구성 전략을 도입하여 이중 파rameter의 안전한 초기화를 가능하게 한다.
• 사다리꼴 수식을 활용하여 원시-이중 반복이 제약 최적화 문제의 최적해에 수렴하도록 연결함으로써, 타당하고 최적의 해에 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 리프시츠 연속성 조건만을 가정할 경우, 균일 수렴과 같은 강한 가정 없이도 O(1/√T) 수렴 속도를 달성할 수 있는가?
• RQ2 다중 목표 스토하스틱 최적화에서 제약 위반이 높은 확률로 어떻게 제한될 수 있는가?
• RQ3 원시-이중 스토하스틱 알고리즘이 수렴 속도와 안정성 측면에서 샘플링 기반 이중 단계 접근 방식을 능가할 수 있는가?
• RQ4 개별 제약의 이중 변수와 최대 제약 재구성의 이중 변수 사이의 관계는 무엇인가?

주요 결과

• 제안된 원시-이중 스토하스틱 알고리즘은 목표 함수의 리프시츠 연속성 조건만을 가정할 경우에도 높은 확률로 주요 목표의 최적의 O(1/√T) 수렴 속도를 달성한다.
• 보조 목표의 제약 위반은 높은 확률로 O(1/√T) 이내로 제한되어 T가 증가함에 따라 타당성이 유지됨을 보장한다.
• 강한 균일 수렴 가정이 필요한 이중 단계 샘플링 기반 접근 방식보다 성능이 뛰어나며, 최적의 수렴 속도를 달성하지 못함을 확인한다.
• 최대 제약 재구성의 이중 변수는 개별 이중 변수의 합과 동일함이 입증되어 상한 추정이 안전하게 가능하다.
• 제약 함수의 서브기울기 노름에 하한이 존재함을 가정하는 조건(가정 3)을 도입함으로써 최적의 이중 변수가 증명 가능하게 유한해지며, 이는 안정적인 알고리즘 초기화를 가능하게 한다.
• 이론적 분석을 통해 오직 랜덤 기울기 정보만을 가질 경우에도 알고리즘이 모든 제약 조건을 충족하는 해에 높은 확률로 수렴함을 확인한다.