[논문 리뷰] Greedy Algorithms for Cone Constrained Optimization with Convergence Guarantees

Francesco Locatello, Michael Tschannen외 2명|arXiv (Cornell University)|2017. 05. 31.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 일반 원소 집합의 원추체 위에서 원추 제약 조건이 있는 최적화를 위한 새로운 근사 알고리즘을 제안하며, 비음수 매칭 퍼서스트(Matching Pursuit, MP) 방법에 대한 최초의 수렴 보장을 제공한다. 부드러운 볼록 목적 함수와 강한 볼록 목적 함수에 대해 각각 하위선형(O(1/t)) 및 선형(O(e^−t)) 수렴 속도를 확립하며, 원소 집합 기하학에 따라 결정되는 명시적인 상수를 포함한다.

ABSTRACT

Greedy optimization methods such as Matching Pursuit (MP) and Frank-Wolfe (FW) algorithms regained popularity in recent years due to their simplicity, effectiveness and theoretical guarantees. MP and FW address optimization over the linear span and the convex hull of a set of atoms, respectively. In this paper, we consider the intermediate case of optimization over the convex cone, parametrized as the conic hull of a generic atom set, leading to the first principled definitions of non-negative MP algorithms for which we give explicit convergence rates and demonstrate excellent empirical performance. In particular, we derive sublinear ($\mathcal{O}(1/t)$) convergence on general smooth and convex objectives, and linear convergence ($\mathcal{O}(e^{-t})$) on strongly convex objectives, in both cases for general sets of atoms. Furthermore, we establish a clear correspondence of our algorithms to known algorithms from the MP and FW literature. Our novel algorithms and analyses target general atom sets and general objective functions, and hence are directly applicable to a large variety of learning settings.

연구 동기 및 목표

• 원소의 선형 스칼라 결합과 볼록 결합 사이의 중요한 중간 케이스인 원소 집합의 원추체 위에서 최적화를 위한 기존 근사 알고리즘의 수렴 보장 부족 문제를 해결한다.
• 일반적인 부드러운 볼록 목적 함수(특히 이차 목적 함수에 국한되지 않은)에 대해 증명 가능하게 수렴하는 원칙적인 비음수 MP 변형을 개발한다.
• 제안된 알고리즘에 대해 원소 집합 기하학과 목적 함수의 부드러움/강한 볼록성에 따라 명시적인 하위선형 및 선형 수렴 속도를 확립한다.
• 볼록 결합의 프랭크-울프(Frank-Wolfe)와 선형 스칼라 결합의 매칭 퍼서스트(Matching Pursuit) 사이의 이론적 격차를 메우기 위해 원추체 경우의 알고리즘을 도입하고 통합된 수렴 분석을 제공한다.
• 비음수 행렬 분해, 분해, 희소 모델링 등 실제 문제에 광범위하게 적용 가능하도록 유한 원소 집합이나 특정 목적 함수 형태에 대한 가정을 제거한다.

제안 방법

• 일반 원소 집합의 원추체 위에서 부드러운 볼록 함수를 최소화하기 위한 비직교 매칭 퍼서스트 알고리즘을 제안하며, 각 반복에서 원소를 선택하기 위해 선형 최소화 오라클(LMO)을 사용한다.
• 프랭크-울프와 일반화된 매칭 퍼서스트에서 영감을 얻어, 이전에 선택된 원소의 가중치를 수정할 수 있는 어웨이-스텝, 페어와이즈, 완전 보정형 MP 변형을 도입한다. 이는 수렴을 향상시킨다.
• 진행도를 특성화하기 위해 새로운 유사 곡률 측정치 $\mu_{f,\rho\mathcal{A}}^{A}$ 를 정의한다. 이는 원소 집합 기하학과 기울기 행동에 따라 달라진다.
• 곡률 매개수와 부드러움 상수를 통해 이중성 갭(duality gap)과 각 반복의 진행도를 연결하는 새로운 분석 프레임워크를 도출한다.
• 실제 구현을 가능하게 하면서도 수렴 보장을 유지하기 위해 곱셈 오차 $\delta$ 를 갖는 근사 LMO를 사용한다.
• 노름 선택에 의존하지 않고 스케일링에 대해 강건한 수렴 보장을 확보하기 위해 애핀 불변 부드러움과 강한 볼록성의 개념을 정의한다.

실험 결과

연구 질문

• RQ1 일반 원소 집합의 원추체 위에서 최적화를 위한 근사 알고리즘은 원소 집합이 무한하거나 내림내림 방향과 일치하지 않더라도 이론적 수렴 보장을 갖도록 설계할 수 있는가?
• RQ2 부드러운 볼록 목적 함수와 강한 볼록 목적 함수에 대해 비음수 MP 알고리즘은 원추체 위에서 어떤 수렴 속도를 달성할 수 있으며, 원소 집합 기하학에 따라 어떻게 달라지는가?
• RQ3 제안된 MP 변형(비직교, 어웨이-스텝, 페어와이즈, 완전 보정형)은 원추체 설정에서 기존의 프랭크-울프 및 매칭 퍼서스트 방법과 비교해 수렴 속도와 안정성 측면에서 어떻게 다른가?
• RQ4 기존의 비음수 MP 연구가 이차 목적 함수에 국한된 바 있는 바, 제안된 분석은 일반적인 부드러운 볼록 함수로 확장 가능한가?
• RQ5 원소 집합의 지름, 반지름, C-너비가 제안된 알고리즘의 수렴 속도에 어떤 역할을 하는가?

주요 결과

• 제안된 비직교 MP 알고리즘은 원소 집합 기하학과 목적 함수의 부드러움에 따라 결정되는 명시적인 상수를 포함한 부드러운 볼록 목적 함수에 대해 하위선형 수렴 속도 $\mathcal{O}(1/t)$ 를 달성한다.
• 강한 볼록 목적 함수의 경우 알고리즘은 선형 수렴 속도 $\mathcal{O}(e^{-t})$ 를 달성하며, 이 속도 상수는 강한 볼록성 매개수와 원소 집합의 C-너비에 따라 달라진다.
• 어웨이-스텝 및 완전 보정형 MP 변형 역시 동일한 가정 하에 하위선형 및 선형 수렴 속도를 달성하며, 동일한 곡률 매개수 $\mu_{f,\rho\mathcal{A}}^{A}$ 를 통해 수렴 경계가 유도된다.
• 수렴 속도는 사용된 노름에 영향을 받지 않으며, 애핀 불변 부드러움과 강한 볼록성의 개념에 기반하여 스케일링에 대해 강건하다.
• 원추체가 선형 스칼라 결합 또는 볼록 결합과 일치할 경우, 기존의 일반화된 MP 및 프랭크-울프의 알려진 수렴 속도를 회복하여 다양한 프레임워크 간의 일관성을 입증한다.
• 제안된 알고리즘은 수렴 보장을 달성하면서도 표준 MP와 동일한 계산 복잡도를 유지하며, 추가 비용 없이 수렴 보장을 확보한다.