[논문 리뷰] Greedy expansions in convex optimization

Vladimir Temlyakov|arXiv (Cornell University)|2012. 06. 02.

Sparse and Compressive Sensing Techniques참고 문헌 10인용 수 4

한 줄 요약

이 논문은 비선형 근사 이론에서 유래한 기법을 응용하여 볼록 최적화 문제에서 희박한 해를 위한 탐욕 알고리즘 확장을 소개하고 분석한다. 균일한 매끄러움 조건 하에서 Greedy Greedy 알고리즘(GGA)의 수렴 속도를 확립하며, 목적 함수의 매끄러움 모듈러스가 거듭제곱 함수로 유계이면 최적의 수렴 속도를 보이며, 특히 단위 구면과 같은 대칭 사전의 경우 더 향상된 속도를 얻는다.

ABSTRACT

This paper is a follow up to the previous author's paper on convex optimization. In that paper we began the process of adjusting greedy-type algorithms from nonlinear approximation for finding sparse solutions of convex optimization problems. We modified there three the most popular in nonlinear approximation in Banach spaces greedy algorithms -- Weak Chebyshev Greedy Algorithm, Weak Greedy Algorithm with Free Relaxation and Weak Relaxed Greedy Algorithm -- for solving convex optimization problems. We continue to study sparse approximate solutions to convex optimization problems. It is known that in many engineering applications researchers are interested in an approximate solution of an optimization problem as a linear combination of elements from a given system of elements. There is an increasing interest in building such sparse approximate solutions using different greedy-type algorithms. In this paper we concentrate on greedy algorithms that provide expansions, which means that the approximant at the $m$th iteration is equal to the sum of the approximant from the previous iteration ($(m-1)$th iteration) and one element from the dictionary with an appropriate coefficient. The problem of greedy expansions of elements of a Banach space is well studied in nonlinear approximation theory. At a first glance the setting of a problem of expansion of a given element and the setting of the problem of expansion in an optimization problem are very different. However, it turns out that the same technique can be used for solving both problems. We show how the technique developed in nonlinear approximation theory, in particular, the greedy expansions technique can be adjusted for finding a sparse solution of an optimization problem given by an expansion with respect to a given dictionary.

연구 동기 및 목표

• 비선형 근사 이론에서 유래한 탐욕적 근사 기법을 비선형 최적화 문제에 적응하여 적용한다.
• 계수를 단계적으로 추가하면서 사전 원소를 이용해 해를 확장하는 방식의 탐욕 알고리즘을 개발하고 분석한다.
• 목적 함수의 균일한 매끄러움 조건 하에서 이러한 탐욕적 확장의 수렴 속도를 확립한다.
• 특수한 경우, 예를 들어 사전이 바나흐 공간의 단위 구면일 경우 수렴 속도를 향상시킬 수 있는지 분석한다.

제안 방법

• 약한 체비셰프, 약한 탐욕적 자유 조정, 약한 완화된 탐욕 알고리즘의 세 가지 탐욕적 유형 알고리즘을 볼록 최적화에 통합된 프레임워크로 적응시킨다.
• 수렴을 보장하기 위해 매개변수 τ(약한 정도 수열), b(완화), μ(매끄러움 제어)를 가진 Greedy Greedy 알고리즘(GGA)을 도입한다.
• 볼록 함수 E의 매끄러움을 특성화하기 위해 매끄러움 모듈러스 ρ(E, S, u)를 사용하며, ρ(E, u) ≤ γu^q (q ∈ (1,2]) 라는 가정을 한다.
• 오차 a_m = E(G_m) - inf E(x) 를 포함하는 재귀 부등식을 수립하여, 수열 b_m = 1 + ∑_{j=1}^m c_j 를 통해 수렴을 유계화한다.
• 함수해석학의 부등식, 특히 하한-반나절 함수성과 볼록성의 하위기울기 유계를 활용하여 오차 감쇠를 유도한다.
• 재귀적 유계와 점근적 분석을 통해 a_m^1/(q-1) / b_m^p 의 감쇠를 분석함으로써 수렴 속도를 유도한다. 여기서 p = q/(q-1).

실험 결과

연구 질문

• RQ1 비선형 분석에서 유래한 탐욕적 근사 기법은 볼록 최적화 문제에 효과적으로 적용될 수 있는가?
• RQ2 균일한 매끄러움 조건 하에서 볼록 최적화의 탐욕적 확장에 대해 보장할 수 있는 수렴 속도는 무엇인가?
• RQ3 사전의 선택(예: 단위 구면)이 탐욕 알고리즘의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 완화 매개변수 b 와 약한 정도 수열 τ 는 수렴 속도 제어에 어떤 역할을 하는가?
• RQ5 사전이 바나흐 공간의 단위 구면일 경우 더 향상된 수렴 속도를 도출할 수 있는가?

주요 결과

• 일반적인 대칭 사전의 경우, GGA 는 수렴 속도 E(G_m) - inf E(x) ≤ C(b, γ, q)(1 + ∑_{k=1}^m t_k^p)^{-t_m(1-b)(q-1)/(q + t_m(1-b))} 를 확보하며, 여기서 p = q/(q-1) 이다.
• 사전이 단위 구면일 경우, 수렴 속도는 E(G_m) - inf E(x) ≤ C(E, b, γ, q)(1 + ∑_{k=1}^m t_k^p)^{1-q} 로 향상된다.
• 수렴 속도는 매끄러움 매개변수 q 에 따라 달라지며, q 가 더 크면(2에 가까울수록) 더 빠른 감쇠를 보이며, 이는 더 매끄러운 함수일수록 더 빠르게 수렴함을 의미한다.
• 오차 유계는 사전의 볼록 hull 위에서 E 의 하한 w 에 대해 정의된 수열 a_m = E(G_m) - w 의 재귀적 분석을 통해 도출된다.
• 매끄러움 모듈러스가 거듭제곱 함수로 유계일 경우 μ(u) = γu^q 를 선택하면 최적의 수렴 속도를 확보할 수 있음을 분석이 보여준다.
• 최적화 과정의 안정성을 확보하기 위해 {x: E(x) ≤ E(0)} 가 유계임을 가정할 경우, 결과는 성립한다.