[논문 리뷰] Gradient-free two-points optimal method for non smooth stochastic convex optimization problem with additional small noise

Anastasia Bayandina, Alexander Gasnikov외 2명|arXiv (Cornell University)|2017. 01. 13.

Stochastic Gradient Optimization Techniques참고 문헌 7인용 수 7

한 줄 요약

이 논문은 추가적인 소음이 존재하는 비미분(stochastic convex) 최적화를 위한 기울기 없이 두 점을 이용한 확률적 미러 강하 알고리즘을 제안한다. 더블 스무딩(double smoothing)과 비정확 오라클 기법을 활용하여 기울기 정보가 없고 소음이 존재하는 상황에서도 최적의 수렴 속도(승수 상수까지)를 달성한다. 이는 최적의 방법을 기울기 정보가 없는 노이즈 있는 환경로까지 확장한다.

ABSTRACT

Using double-smoothing technique and stochastic mirror descent with inexact oracle we built an optimal algorithm (up to a multiplicative factor) for two-points gradient-free non-smooth stochastic convex programming. We investigate how much can be the level of noise (the nature of this noise isn't necessary stochastic) for the rate of convergence to be maintained (up to a multiplicative factor).

연구 동기 및 목표

• 기울기 정보가 없는 조건에서 비미분 스토하스틱 컨 vex 최적화를 위한 최적의 기울기 없는 알고리즘을 개발하는 것.
• 기울기 정보가 없는 상황에서 추가적인 소음이 수렴 속도에 미치는 영향을 분석하는 것.
• 기능 값 쿼리만 가능한 환경으로 최적의 방법의 적용 범위를 확장하는 것.
• 노이즈와 기울기 접근 불가능성에도 불구하고 수렴 속도를 승수 상수 범위 내로 유지하는 것.

제안 방법

• 이 방법은 비미분 목적 함수를 정규화하기 위해 더블 스무딩을 사용하여 스토하스틱 미러 강하의 적용을 가능하게 한다.
• 두 점을 이용한 스토하스틱 오라클을 사용하여 두 개의 변형된 점에서의 기능 값을 쿼리하여 하위기울기를 추정한다.
• 추가적인 소음이 있는 기능 평가를 처리하기 위해 비정확 오라클 모델을 통합한다.
• 노이즈가 있고 기울기가 없는 조건에서 수렴을 보장하기 위해 미러 강하와 분산 감소 기법을 결합한다.
• 이론적 분석은 기댓값 하위최적성 갭을 유계로 유지하기 위해 볼록 해석학과 스토하스틱 최적화 프레임워크에 기반한다.
• 이 방법은 지정된 노이즈와 오라클 제약 조건 하에서 최적의 수렴 속도(승수 상수까지)를 유지하도록 설계되어 있다.

실험 결과

연구 질문

• RQ1 기울기 없는 비미분 스토하스틱 컨 vex 최적화에서 최적의 수렴 속도를 유지하면서 견딜 수 있는 최대 수준의 노이즈(항상 스토하스틱일 필요는 없음)는 얼마인가?
• RQ2 기울기 정보에 접근할 수 없는 비미분 스토하스틱 문제에 대해 최적의 알고리즘을 구성할 수 있는가?
• RQ3 더블 스무딩은 비정확 오라클과 어떻게 상호작용하여 노이즈 하에서 수렴을 유지하는가?
• RQ4 소규모 변형이 존재하는 상황에서 두 점 쿼리 메커니즘은 얼마나 최적성을 유지하는가?
• RQ5 기능 값만 이용 가능하고 노이즈가 존재하는 조건에서 수렴 속도를 상수 배수 범위 내로 유지할 수 있는가?

주요 결과

• 제안된 알고리즘은 기울기 접근이 없는 비미분 스토하스틱 컨 vex 최적화에서 최적의 수렴 속도(승수 상수까지)를 달성한다.
• 이 방법은 노이즈의 성격에 관계없이 유계일 경우, 임의의 소음 하에서도 수렴성을 유지한다.
• 더블 스무딩은 비미분 문제를 미분 가능한 근사로 변환하여 미러 강하에 적합한 형태로 만든다.
• 두 점 쿼리 메커니즘은 최소한의 기능 평가로 하위기울기를 효과적으로 근사하여 실용성을 확보한다.
• 비정확 오라클 모델은 수렴 속도를 떨어뜨리지 않고도 기능 평가의 노이즈에 대한 강건성을 보장한다.
• 이론적 분석은 알고리즘의 수렴 속도가 노이즈가 있고 기울기가 없는 조건에서도 상수 배수 범위 내로 최적이라는 것을 확인한다.