[논문 리뷰] Linearly Convergent Away-Step Conditional Gradient for Non-strongly Convex Functions

Amir Beck, Shimrit Shtern|arXiv (Cornell University)|2015. 04. 20.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 10

한 줄 요약

이 논문은 비강한볼록 함수를 최소화하기 위한 선형 수렴하는 away-step 조건부 기울기 알고리즘을 제안한다. 이 함수는 선형 항과 강볼록 함수의 선형 변환과의 복합함수의 합이며, 유한 다각형 집합 위에서 정의된다. 새로운 기하 상수인 '정점-면 거리 상수(vertex-facet distance constant)'를 도입함으로써, 이전의 피라미드 폭 기반 접근 방식의 한계를 극복하고 정점 선형 오라클이 필요로 하지 않는 선형 수렴을 달성한다.

ABSTRACT

We consider the problem of minimizing a function, which is the sum of a linear function and a composition of a strongly convex function with a linear transformation, over a compact polyhedral set. Jaggi and Lacoste-Julien [14] showed that the conditional gradient method with away steps employed on the aforementioned problem without the additional linear term has linear rate of convergence, depending on the so-called pyramidal width of the feasible set. We revisit this result and provide a variant of the algorithm and an analysis that is based on simple duality arguments, as well as corresponding error bounds. This new analysis (a) enables the incorporation of the additional linear term, (b) does not require a linear-oracle that outputs an extreme point of the linear mapping of the feasible set and (c) depends on a new constant, termed "the vertex-facet distance constant", which is explicitly expressed in terms of the problem's parameters and the geometry of the feasible set. This constant replaces the pyramidal width, which is difficult to evaluate.

연구 동기 및 목표

• 선형 항을 포함한 비강한볼록 함수에 대해 선형 수렴하는 조건부 기울기 방법을 개발한다.
• 가용 영역의 선형 사상에 대한 극단점들을 반환하는 정점 선형 오라클이 필요로 하지 않도록 한다.
• 계산이 어려운 피라미드 폭을 더 실용적인 기하 상수로 대체한다.
• 새로운 알고리즘 프레임워크에 기반한 수렴 속도를 이중성과 오차 한계를 통해 수립한다.
• 일반적인 다각형 집합인 단형단순체, ℓ₁ 및 ℓ∞ 구의 정점-면 거리 상수에 대한 명시적 표현을 제공한다.

제안 방법

• 정점 선형 오라클에 의존하지 않는 새로운 away-step 조건부 기울기(ASCG) 방법의 변종을 제안하며, 선형 항을 포함한다.
• 정점-면 거리 상수 Ω_X를 도입한다. 이는 음의 내적을 가지는 면까지의 최소 거리와 제약 행의 최대 노름의 비율로 정의된다.
• 피라미드 폭에 대한 이전의 의존성을 제거하기 위해 이중성 기반 분석과 오차 한계를 사용하여 수렴 속도를 유도한다.
• 카라테오도리 정리에 기반한 랭크 감소 절차를 사용하여 고차원 다각형에서 큰 정점 집합을 관리한다.
• 최소한의 반복에서 수축 부등식이 (1−α†)의 비율로 만족됨을 보여주는 재귀적 증명을 통해 선형 수렴을 도출한다.
• 다각형 표현과 정점-면 기하학을 활용하여 단형단순체, ℓ₁ 구, ℓ∞ 구에 대해 Ω_X를 명시적으로 계산한다.

실험 결과

연구 질문

• RQ1 선형 항을 포함한 비강한볼록 함수에 대해 away-step 조건부 기울기 방법을 사용하여 선형 수렴을 달성할 수 있는가?
• RQ2 수렴 분석에서 계산이 어려운 피라미드 폭을 더 실용적인 기하 상수로 대체할 수 있는가?
• RQ3 변형 가능한 가용 영역의 극단점들을 출력하는 정점 선형 오라클이 필요로 하지 않는 알고리즘을 설계할 수 있는가?
• RQ4 표준적인 다각형 집합인 단형단순체 및 ℓ₁/ℓ∞ 구에 대해 새로운 기하 상수 Ω_X의 명시적 값은 무엇인가?
• RQ5 새로운 수렴 속도는 문제 매개변수와 가용 영역의 기하학적 특성에 어떻게 의존하는가?

주요 결과

• 알고리즘은 형태 (1−α†)^(k/2)의 선형 수렴 속도를 달성한다. 여기서 α†는 정점-면 거리 상수에 따라 결정되는 상수이다.
• 정점-면 거리 상수 Ω_X는 명시적으로 계산 가능하며, 수렴 분석에서 계산이 어려운 피라미드 폭을 대체한다.
• 단형단순체의 경우 Ω_X = 1; ℓ₁ 구의 경우 Ω_X = 2/√n; ℓ∞ 구의 경우 Ω_X = 2이다.
• 정점 선형 오라클이 필요로 하지 않아, 이러한 오라클이 이용 불가능하거나 비효율적인 문제들로의 적용 가능성이 넓어진다.
• 수렴 분석은 이중성과 오차 한계에 기반하여, 전체 목적 함수의 강볼록성을 가정하지 않는 깔끔한 이론적 기반을 제공한다.
• 이 결과는 잭키와 라코스트-줄리엔의 이전 작업을 선형 항을 포함하고 더 실용적인 기하 상수를 사용함으로써 확장한다.