[논문 리뷰] On perturbed proximal gradient algorithms

Yves F. Atchadé, Gersende Fort외 1명|arXiv (Cornell University)|2014. 02. 11.

Stochastic Gradient Optimization Techniques참고 문헌 44인용 수 50

한 줄 요약

이 논문은 목적 함수의 그래디언트가 고차원적 적분으로 인해 추정이 불가능한 최적화 문제를 다루며, 몬테카를로 방법(예: MCMC 포함)을 통해 근사된 그래디언트를 사용하는 변형된 프록시멀 그래디언트 알고리즘을 제안한다. 알고리즘은 증가하는 배치 크기와 일정한 배치 크기의 두 경우 모두에서 수렴성을 보장하며, 평균화된 반복값에 대한 비점근적 경계를 제공한다. 또한 편향이 있는가 아닌가에 관계없이 몬테카를로 근사 방법을 모두 다룬다.

ABSTRACT

We study a version of the proximal gradient algorithm for which the gradient is intractable and is approximated by Monte Carlo methods (and in particular Markov Chain Monte Carlo). We derive conditions on the step size and the Monte Carlo batch size under which convergence is guaranteed: both increasing batch size and constant batch size are considered. We also derive non-asymptotic bounds for an averaged version. Our results cover both the cases of biased and unbiased Monte Carlo approximation. To support our findings, we discuss the inference of a sparse generalized linear model with random effect and the problem of learning the edge structure and parameters of sparse undirected graphical models.

연구 동기 및 목표

• 베이지안 네트워크와 잠재 변수를 가진 모델에서 흔히 발생하는 고차원 적분으로 인해 목적 함수의 그래디언트를 추정할 수 없는 최적화 문제를 다루기.
• 추정 오차가 존재함에도 불구하고 수렴성을 보장하는 몬테카를로 근사 그래디언트를 사용하는 프록시멀 그래디언트 알고리즘 개발.
• 증가하는 및 일정한 몬테카를로 배치 크기 조건 하에서의 수렴성에 대한 이론적 보장을 제공하며, 편향이 있는가 아닌가에 관계없이 근사 방법을 모두 다루기.
• 유한한 표본을 가진 실용적 구현을 뒷받침하는 평균화된 반복값에 대한 비점근적 $L^q$-모멘트 경계 유도.
• 실제 통계 문제에 대한 프레임워크 검증: 난수 효과가 있는 희박한 일반선형 모델에서의 추론 및 희박한 무방향 그래픽 모델의 간선 구조 학습.

제안 방법

• 진짜 그래디언트 $\nabla f(\theta_n)$ 가 몬테카를로 근사값 $H_{n+1}$ 로 대체되는 변형 프록시멀 그래디언트 알고리즘을 제안하며, 이는 표준 프록시멀 그래디언트 방법의 확률적 변종이다.
• 비미분 가능 정규화 항을 다루기 위해 프록시멀 맵 $\operatorname{Prox}_{\gamma,g}(\theta) = \arg\min_{\vartheta} \left\{ g(\vartheta) + \frac{1}{2\gamma} \|\vartheta - \theta\|^2 \right\}$ 를 사용한다.
• 스텝 크기 $\gamma_n \in (0, 2/L)$ 와 몬테카를로 표본의 배치 크기 조건 하에서 수렴성을 확립하며, 그래디언트 근사 오차가 존재하더라도 알고리즘이 안정성을 유지함을 보장한다.
• 반복값과 오차 항의 $L^q$-모멘트를 제어하기 위해 민코프스키 부등식과 코시-슈바르츠 부등식을 적용하여 비점근적 분석을 가능하게 한다.
• 마팅게일 차분 수열과 모멘트 경계를 활용하여, 근사 오차에 대한 적절한 조건 하에서 반복값의 거의 확실 수렴성을 증명한다.
• 가중치 합으로 구성된 그래디언트 근사 오차와 안정성 항을 사용하여 평균화된 반복값이 최적 해에서 벗어나는 기대값의 편차에 대한 경계를 도출한다.

실험 결과

연구 질문

• RQ1 스텝 크기와 몬테카를로 배치 크기에 어떤 조건이 성립할 경우 변형 프록시멀 그래디언트 알고리즘이 $F = f + g$ 의 최소화자로 거의 확실하게 수렴하는가?
• RQ2 그래디언트의 편향이 있는가 없는가에 관계없이 몬테카를로 근사 방법이 프록시멀 그래디언스 알고리즘의 수렴성과 안정성에 어떤 영향을 미치는가?
• RQ3 노이즈가 있는 그래디언트 추정이 존재하는 상황에서 평균화된 반복값에 대한 비점근적 $L^q$-모멘트 경계를 도출할 수 있는가?
• RQ4 그래디언트가 MCMC 샘플링을 통해 추정될 경우 알고리즘의 수렴성에 대해 어떤 이론적 보장을 제공할 수 있는가?
• RQ5 이론적 결과는 난수 효과가 있는 희박한 일반선형 모델과 무방향 그래픽 모델과 같은 실제 통계 모델에 어떻게 적용되는가?

주요 결과

• 스텝 크기 $\gamma_n$ 가 $ (0, 2/L) $ 에 있고 0에서 일정하게 떨어져 있을 경우, 심지어 몬테카를로 그래디언트 근사가 존재하더라도 변형 프록시멀 그래디언트 알고리즘이 거의 확실하게 $F = f + g$ 의 최소화자로 수렴한다.
• 배치 크기가 증가하거나 일정할 경우, 반복 횟수에 비해 충분히 빠르게 증가한다면 수렴성이 보장된다.
• 평균화된 반복값에 대한 비점근적 $L^q$-모멘트 경계가 도출되었으며, 이는 최적 해에서의 기대 편차가 배치 크기와 스텝 크기에 따라 감소하는 비율을 보여준다.
• 분석은 그래디언트 근사의 편향이 있는지 없는지에 관계없이 모두 포함하며, 이는 정규화 가능하지 않은 가능성 있는 문제에 프록시멀 방법의 적용 범위를 넓힌다.
• 이론적 프레임워크는 두 가지 통계 문제에 대해 검증되었으며, 난수 효과가 있는 희박한 일반선형 모델에서의 추론과 희박한 무방향 그래픽 모델의 구조 및 매개변수 학습이다.
• 논문은 기대 그래디언트 근사 오차의 노름이 모멘트 경계를 통해 제어됨을 입증하며, MCMC 체인에 대한 미약한 규칙성 조건 하에서 안정성과 수렴성을 보장한다.