[논문 리뷰] Variational Optimization

Joe Staines, David Barber|arXiv (Cornell University)|2012. 12. 18.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 7

한 줄 요약

이 논문은 비차별 가능하거나 이산적인 최적화 문제에 대해, 최적 값에 대한 변분 하한을 사용하여 미분 가능한 대체 목표 함수를 생성하는 Variational Optimization(VO) 방법을 제안한다. 주요 기여는 온건한 조건 하에서 변분 목표 함수가 미분 가능하고, 변분 분포가 기대값에 대해 애매하게 선형일 경우에 볼록 최적화 기법을 적용할 수 있도록 함으로써 기존에 비가역적인 문제에 대해 기울기 기반 최적화를 가능하게 한다. 이는 희소 학습과 서포트 벡터 기반 분류 문제에서 성공적으로 적용된 바가 있다.

ABSTRACT

We discuss a general technique that can be used to form a differentiable bound on the optima of non-differentiable or discrete objective functions. We form a unified description of these methods and consider under which circumstances the bound is concave. In particular we consider two concrete applications of the method, namely sparse learning and support vector classification.

연구 동기 및 목표

• 기울기 기반 최적화 방법이 실패하는 비차별 가능하거나 이산적인 목표 함수 최적화 문제를 해결하기 위한 것이다.
• 진정한 최적값을 아래에서 둘러싸는 일반적인 목적의, 미분 가능한 대체 목표 함수를 개발하기 위한 것이다.
• 변분 하한이 볼록성을 가지는 조건을 규명하여 볼록 최적화 기법을 적용할 수 있도록 하기 위한 것이다.
• 이 방법이 라소 회귀나 소프트 마진 서포트 벡터 기반 분류 문제와 같은 실제 문제에 효과적으로 적용되는지 보여주기 위한 것이다.
• 변분 최적화와 분포 추정 알고리즘(EDAs) 간의 연결 고리를 설정하여, VO를 표본 기반 최적화를 위한 체계적인 프레임워크로 위치지어 주기 위한 것이다.

제안 방법

• 해결 공간 $ \mathcal{C} $ 위에서의 변분 분포 $ p(x|\theta) $ 를 사용하여 최적 값 $ f^* = \text{max}_x f(x) $ 에 대한 하한을 설정한다. 이는 기대값 $ E(\theta) = \big\langle f(x) \big\rangle_{p(x|\theta)} $ 로 표현된다.
• 미분 가능성을 확보하기 위해 $ f(x)p(x|\theta) $ 에 대한 약한 적분 가능성 및 지배 조건을 검증함으로써, 도함수와 적분의 순서를 바꾸어 기울기 계산이 가능하도록 한다.
• 만약 $ f(x) $ 가 볼록이고 $ p(x|\theta) $ 가 기대값에 대해 애매하게 선형일 경우, 즉 $ f(x) $-기대값을 고정된 분포 $ q(z) $ 의 선형 변환으로 재기록할 수 있을 경우, $ E(\theta) $ 는 $ \theta $ 에 대해 볼록하다.
• 정규 분포를 가진 변분 가족에 적용하여, 다변수 정규 분포 $ p(x|\theta) $ 에 대해 표준 정규 변수를 이용한 재매개변수화가 가능함을 보여주며, 이는 기울기 계산의 효율성과 안정성을 높인다.
• 자유 에너지 접근법을 사용하여 VO를 통계역학과 연결한다. 이는 $ \text{KL}(q||\tilde{p}) $ 를 최소화하는 것으로, 여기서 $ \tilde{p}(x) \triangleq \frac{1}{Z} e^{\beta f(x)} $ 이며, $ \beta $ 는 근사의 날카움 정도를 조절한다.
• VO를 분포 추정 알고리즘(EDAs)과 연결하여, 표본 기반 기대값 추정을 사용하는 VO는 EDA 유형의 방법들을 일반화한 것임을 보여준다.

실험 결과

연구 질문

• RQ1 비차별 가능하거나 $ x $ 가 이산적인 경우에도, 변분 하한 $ E(\theta) $ 가 $ \theta $ 에 대해 미분 가능해지는 조건은 무엇인가?
• RQ2 변분 목표 함수 $ E(\theta) $ 가 $ \theta $ 에 대해 볼록성이 유지되는 조건는 무엇인가?
• RQ3 변분 최적화는 희소 학습이나 서포트 벡터 기반 분류 문제처럼 이산적이거나 비차별 가능한 문제에 어떻게 적용될 수 있는가?
• RQ4 변분 최적화와 자유 에너지 최소화 또는 분포 추정 알고리즘 간의 관계는 무엇인가?
• RQ5 원래 목표 함수가 비가역적인 경우에도, 변분 최적화가 진정한 최적값 $ f^* $ 에 대한 증명 가능한 하한을 제공할 수 있는가?

주요 결과

• 비차별 가능하거나 이산적인 $ f(x) $ 에 대해서도, 적분 가능성 및 도함수의 지배 조건이 충족되면 변분 목표 함수 $ E(\theta) = \big\langle f(x) \big\rangle_{p(x|\theta)} $ 는 약한 조건 하에서 미분 가능하며, 이는 기울기 기반 최적화를 가능하게 한다.
• 만약 $ f(x) $ 가 볼록이고 $ p(x|\theta) $ 가 기대값에 대해 애매하게 선형일 경우, 하한 $ E(\theta) $ 는 $ \theta $ 에 대해 볼록성을 유지하며, 이는 볼록 최적화 기법의 적용을 가능하게 한다.
• 정규 변분 가족의 경우, 표준 정규 변수를 사용한 재매개변수화가 가능하여, 재매개변수화 기법을 통해 기울기 계산을 효율적이고 안정적으로 수행할 수 있다.
• 공분산이 고정된 경우, 자유 에너지 최소화는 변분 하한의 최대화와 동치이며, 이는 VO를 최대 사후 확률 추정과 연결시킨다.
• 이 방법은 진정한 최적값 $ f^* $ 에 대한 하한을 제공하며, 변분 분포의 집중도를 높일수록 이 하한은 더욱 강화된다.
• 실험 결과에 따르면, VO는 원래 목표 함수가 비차별 가능하거나 이산적인 경우에도 라소 회귀 및 소프트 마진 서포트 벡터 기반 분류 문제의 해를 성공적으로 근사한다.