[논문 리뷰] Relatively-Smooth Convex Optimization by First-Order Methods, and Applications

Haihao Lu, Robert M. Freund외 1명|arXiv (Cornell University)|2016. 10. 18.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 4

한 줄 요약

이 논문은 사용자가 정의한 참조 함수 $ h(\cdot) $ 를 기준으로 한계를 '상대적 미끄러움'으로 일반화함으로써, 기존의 균일한 미끄러움 조건을 만족하지 못하는 문제에 대해 효율적인 알고리즘을 제공하는 새로운 프레임워크를 제안한다. 주요 기여는 비균일하게 미끄러운 함수에 대해 $ O(1/k) $의 비선형 수렴 속도를 달성하는 새로운 수렴 분석 및 알고리즘 프레임워크를 개발한 것이다. 이는 $ D $-최적 설계 및 기타 비가소성 문제에서 입증되었다.

ABSTRACT

The usual approach to developing and analyzing first-order methods for smooth convex optimization assumes that the gradient of the objective function is uniformly smooth with some Lipschitz constant $L$. However, in many settings the differentiable convex function $f(\cdot)$ is not uniformly smooth -- for example in $D$-optimal design where $f(x):=-\ln \det(HXH^T)$, or even the univariate setting with $f(x) := -\ln(x) + x^2$. Herein we develop a notion of "relative smoothness" and relative strong convexity that is determined relative to a user-specified "reference function" $h(\cdot)$ (that should be computationally tractable for algorithms), and we show that many differentiable convex functions are relatively smooth with respect to a correspondingly fairly-simple reference function $h(\cdot)$. We extend two standard algorithms -- the primal gradient scheme and the dual averaging scheme -- to our new setting, with associated computational guarantees. We apply our new approach to develop a new first-order method for the $D$-optimal design problem, with associated computational complexity analysis. Some of our results have a certain overlap with the recent work \cite{bbt}.

연구 동기 및 목표

• 기울기의 균일한 리프시츠 연속성 조건이 성립하지 않는 많은 실질적 볼록 최적화 문제에서 실패하는 표준 일阶 방법의 한계를 해결한다.
• 계산적으로 다루기 쉬운 참조 함수 $ h(\cdot) $ 를 기준으로 한 상대적 미끄러움 조건을 일반화하여, 비균일하게 미끄러운 함수의 분석을 가능하게 한다.
• 기존의 원본 기울기 및 이중 평균 알고리즘 프레임워크를 상대적 미끄러움 설정으로 확장하여 새로운 수렴 보장을 제공한다.
• $ D $-최적 설계 및 기타 비가소성 문제에 적용하여, 기존 방법이 기울기 리프시츠 상수가 유계가 아니기 때문에 실패하는 문제에 대해 새로운 접근법을 제공한다.
• 하나의 참조 함수 $ h(\cdot) $ 를 선택하여 하위문제의 해법 효율성과 수렴 속도 사이의 균형을 맞춘다. 이는 갭 함수 $ Lh - f $ 의 헤시안을 최소화함으로써 달성된다.

제안 방법

• 상대적 미끄러움 정의: 미분 가능한 볼록 함수 $ f $ 가 $ 1 $-강하게 볼록한 참조 함수 $ h $ 를 기준으로 $ L $-미끄러운 경우, $ \nabla f(x) - \nabla f(y) \leq L \cdot \|x - y\|_h $ 를 만족하며, 여기서 $ \|\cdot\|_h $ 는 $ h $ 에 의해 유도된 노름이다.
• 브레그만 거리 $ D_h(x,y) = h(x) - h(y) - \langle \nabla h(y), x - y \rangle $ 를 사용하여 새로운 최적화 하위문제를 정의한다.
• 기존의 $ \|x - x^i\|_2^2 $ 항을 대체하여, 원본 기울기 방법의 업데이트에 $ L D_h(x, x^i) $ 를 사용한다.
• 상대적 미끄러움 하에서 일반화된 세 점 성질을 증명하여, 브레그만 거리를 통한 수렴 분석을 가능하게 한다.
• 수렴 속도 $ f(x^k) - f(x^*) \leq \frac{L D_h(x^*, x^0)}{k} $ 를 확립하며, 이는 고전적 $ O(1/k) $ 수렴 속도를 일반화한 것이다.
• 하위문제의 해법 용이성과 수렴 속도 사이의 균형을 확보하기 위한 전략을 제안한다. 이는 $ Lh - f $ 의 헤시안이 작아지도록 $ h(\cdot) $ 를 선택함으로써 달성된다. 이는 악화된 조건수와 어려운 하위문제를 피하는 데 기여한다.

실험 결과

연구 질문

• RQ1 기울기의 균일한 리프시츠 연속성이 성립하지 않는 함수, 예를 들어 $ f(x) = -\ln(x) + x^2 $ 또는 $ f(x) = -\ln \det(HXH^T) $ 와 같은 함수에 대해 일阶 방법을 확장할 수 있는가?
• RQ2 비균일하게 미끄러운 함수에 대해 수렴 보장을 가능하게 하는 적절한 미끄러움의 일반화는 무엇인가?
• RQ3 브레그만 거리 프레임워크는 상대적 미끄러움 조건 하에서 어떻게 수정되어야 하며, 이로 인해 $ O(1/k) $ 수렴 속도를 유지할 수 있는가?
• RQ4 수렴 속도와 하위문제 복잡도 사이의 균형을 확보하기 위해 참조 함수 $ h(\cdot) $ 를 선택할 때 고려해야 할 기준은 무엇인가?
• RQ5 이 새로운 프레임워크는 기울기 리프시츠 상수가 무한대가 되는 $ D $-최적 설계 및 기타 문제에 성공적으로 적용될 수 있는가?

주요 결과

• 논문은 $ f(x) = -\ln(x) + x^2 $ 나 $ f(x) = -\ln \det(HXH^T) $ 와 같은 많은 비균일하게 미끄러운 볼록 함수들이 $ h(x) = \frac{1}{2}\|x\|_2^2 $ 나 $ h(x) = \sum x_i \ln x_i $ 와 같은 간단한 참조 함수에 대해 상대적으로 미끄러운 것으로 규명하였다.
• 상대적 미끄러움 프레임워크는 원본 기울기 방법이 비균일하게 미끄러운 함수일지라도 $ O(1/k) $ 수렴 속도를 달성할 수 있음을 보여주며, 이는 $ f(x^k) - f(x^*) \leq \frac{L D_h(x^*, x^0)}{k} $ 로 표현된다.
• $ D $-최적 설계 문제에서는 고전적 방법에서 관찰되는 $ L_f $ 의 지수적 증가를 피하는 계산 복잡도 상한을 달성하여 실용적인 구현 가능성을 확보하였다.
• 상대적 미끄러움 조건 하에서 갭 함수 $ \nabla^2(Lh - f) $ 는 음이 아닌 정의된 헤시안을 가지며, 이는 수렴 상한이 잘 정의되고 감소하는 것을 보장한다.
• 참조 함수 $ h(\cdot) $ 의 선택은 상충 관계를 가진다: $ h(\cdot) = f(\cdot) $ 를 선택하면 갭의 헤시안은 0이지만 하위문제는 어렵다. 반면 $ h(\cdot) = \frac{1}{2}\|\cdot\|_2^2 $ 를 선택하면 하위문제는 쉽지만 헤시안 제어가 빈약하다.
• 이 프레임워크는 표준 일阶 방법을 일반화하며, 예를 들어 조절 행렬 $ B $ 를 사용하여 수렴 속도를 향상시키되 계산 가능성을 유지하는 방식으로 $ h(\cdot) $ 를 체계적으로 선택할 수 있는 방법을 제공한다.