[논문 리뷰] Greedy approximation in convex optimization

Vladimir Temlyakov|arXiv (Cornell University)|2012. 06. 02.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 7

한 줄 요약

이 논문은 바나흐 공간 내에서 볼록 최적화 문제의 희박한 해를 찾는 데 사용하기 위해 원래 비선형 근사 이론에서 개발된 탐욕적 근사 알고리즘을 이론적으로 프레임워크화한다. 이를 통해 같은 탐욕적 기법, 예를 들어 약한 체비셰프 탐욕 알고리즘(WCGA)이 목적 함수의 미끄럼성 성질과 바나흐 공간의 쌍대성에 기반하여 차원에 종속되지 않는 수렴 속도를 달성할 수 있음을 보여준다.

ABSTRACT

We study sparse approximate solutions to convex optimization problems. It is known that in many engineering applications researchers are interested in an approximate solution of an optimization problem as a linear combination of elements from a given system of elements. There is an increasing interest in building such sparse approximate solutions using different greedy-type algorithms. The problem of approximation of a given element of a Banach space by linear combinations of elements from a given system (dictionary) is well studied in nonlinear approximation theory. At a first glance the settings of approximation and optimization problems are very different. In the approximation problem an element is given and our task is to find a sparse approximation of it. In optimization theory an energy function is given and we should find an approximate sparse solution to the minimization problem. It turns out that the same technique can be used for solving both problems. We show how the technique developed in nonlinear approximation theory, in particular, the greedy approximation technique can be adjusted for finding a sparse solution of an optimization problem.

연구 동기 및 목표

• 희박한 근사 이론과 볼록 최적화 내 희박한 해 사이의 격차를 메우기 위해.
• 무한차원 바나흐 공간 내에서 탐욕 알고리즘의 차원에 종속되지 않는 수렴 보장을 개발하기 위해.
• 원래 함수 근사에 대해 설계된 탐욕형 알고리즘을 재편성하여 재dundant 사전에 대해 희박한 최적화 문제를 해결하기 위해.
• 쌍대성과 미끄럼성 성질을 활용하여 동일한 알고리즘 프레임워크가 근사와 최적화 모두에 적용될 수 있음을 확립하기 위해.
• 목적 함수의 일반적인 미끄럼성 조건 하에서 탐욕 알고리즘의 수렴 속도를 제공하기 위해.

제안 방법

• 각 탐욕 단계에서 음의 기울기를 선택 기준으로 사용하여 WCGA를 볼록 최적화에 적응시킨다.
• 선택된 사전 원소의 제어를 위해 $ t_k \leq 1 $ 인 약한 성분 수열을 사용하여 표준 탐욕 선택을 일반화한다.
• 선택된 사전 원소의 선형 결합에서 현재 잔차에 대한 최선의 근사를 정의한 approximant $ G_m $ 를 정의한다.
• 목적 함수의 최대 감소를 보장하기 위해, 탐욕 선택을 이끄는 norming functional $ F_{f^{c}_{m-1}} $ 를 활용한다.
• 표준 근사 부등식 $ \|x + u y\| \geq F_x(x + u y) $ 를 최적화 증명에서 볼록성 기반 부등식으로 대체한다.
• 표준 미끄럼성 조건 $ \rho(u) \leq \gamma u^q $ 를 더 일반적인 부등식 $ E(x + u y) - E(x) - u\langle E'(x), y \rangle \leq 2\rho(E, u\|y\|) $ 로 대체하여 더 넓은 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 비선형 근사 이론에서 유래한 탐욕적 근사 기법을 효과적으로 희박한 볼록 최적화에 재사용할 수 있는가?
• RQ2 무한차원 바나흐 공간 내에서 희박한 최적화에 대해 탐욕 알고리즘의 수렴 속도는 무엇인가?
• RQ3 목적 함수의 미끄럼성이 탐욕 알고리즘의 수렴 행동에 어떤 영향을 미치는가?
• RQ4 탐욕 알고리즘이 $ m $-항 근사 클래스 내에서 동시에 희박하고 최적인 해를 생성하는 조건은 무엇인가?
• RQ5 쌍대성을 활용하여 동일한 이론적 프레임워크가 근사 문제와 최적화 문제 양쪽에 적용될 수 있는가?

주요 결과

• WCGA, WRGA, WGAFR와 같은 탐욕 알고리즘은 차원에 종속되지 않는 수렴 속도를 보이며, 볼록 최적화 문제에 적용될 수 있다.
• 목적 함수 $ E $ 의 미끄럼성 모듈러스 $ \rho(E, u) $ 에 따라 WCGA 의 수렴 속도가 달라지며, $ \rho(E, u) \sim u^q $ 이고 $ 1 < q \leq 2 $ 일 경우 더 빠른 수렴 속도를 보인다.
• $ E(x) = \|f - x\|^q $ 인 경우, 최적화 내 탐욕 알고리즘은 근사 이론 내 그들에 대응하는 알고리즘과 일치하며, 두 영역 간의 일관성을 확인한다.
• 제약 집합으로서의 볼록 Hull $ A_1(\mathcal{D}) $ 의 사용은 WRGA(co) 와 같은 알고리즘에서 더 날카운 수렴 경계를 허용한다. 특히 $ E $ 가 부등식 $ E(x + u(y - x)) - E(x) - u\langle E'(x), y - x \rangle \leq 2\rho(E, u\|y - x\|) $ 를 만족할 경우에 그렇다.
• 최적화 내 탐욕 알고리즘의 이론적 수렴 결과는 근사 이론에서와 동일한 재귀 기법을 사용하여 유도되며, 오직 기초 부등식(예: (5.1) 대비 (1.9)) 만 다를 뿐이다.
• 논문은 $ D = \{x : E(x) \leq E(0)\} $ 의 하위레벨 집합의 유계성이 $ A_1(\mathcal{D}) $ 에 의한 재노름화 하에 유지되지 않음을 보여주며, 원래 바나흐 공간의 구조의 중요성을 강조한다.