[논문 리뷰] A Unified Optimization View on Generalized Matching Pursuit and Frank-Wolfe

Francesco Locatello, Rajiv Khanna외 2명|arXiv (Cornell University)|2017. 02. 21.

Game Theory and Voting Systems인용 수 22

한 줄 요약

이 논문은 일반화된 매칭 퇴적법(GMP)과 프랭크-울프(FW) 알고리즘을 위한 통합 최적화 프레임워크를 제안하며, 비산만성 또는 희소성 가정 없이도 부드럽고 강력히 볼록인 목적함수에 대해 각각 1/t의 하위선형 수렴 속도와 선형 수렴 속도를 달성함을 보여준다. 주요 기여는 힐베르트 공간 내 일반 원자 집합에 대해 반복 단계에 의존하지 않는 명시적 수렴 속도를 제공하는 GMP에 대한 최초의 명시적 수렴 속도이며, 이는 새로운 개념인 최소 내재 방향 폭과 애핀 불변성에 의해 연결된다.

ABSTRACT

Two of the most fundamental prototypes of greedy optimization are the matching pursuit and Frank-Wolfe algorithms. In this paper, we take a unified view on both classes of methods, leading to the first explicit convergence rates of matching pursuit methods in an optimization sense, for general sets of atoms. We derive sublinear ($1/t$) convergence for both classes on general smooth objectives, and linear convergence on strongly convex objectives, as well as a clear correspondence of algorithm variants. Our presented algorithms and rates are affine invariant, and do not need any incoherence or sparsity assumptions.

연구 동기 및 목표

• 일반화된 매칭 퇴적법(GMP)과 프랭크-울프(FW) 방법에 대한 통합 최적화 시각을 제공하며, 이들은 동일한 선형 최소화 오рак루(LMO)를 사용하지만 가능 집합이 선형 스펜과 볼록 hull로 다름.
• 일반 원자 집합에 대해 힐베르트 공간 내에서 반복에 의존하지 않는 GMP에 대한 최초의 명시적 수렴 속도를 유도함.
• GMP와 FW 변형 간의 대응 관계 수립, 특히 가중치 보정 및 근사 LMO 확장 포함.
• 두 알고리즘과 그 수렴 속도에 대한 애핀 불변 형식 도입하여 도메인 재매개변수화에 대해 불변성을 확보함.
• 선형 수렴을 지배하는 새로운 기하 복잡도 측정값인 최소 내재 방향 폭을 정의하고 분석함.

제안 방법

• GMP와 FW를 선형 최소화 오라클(LMO)을 통해 원자를 선택하는 반복적 알고리즘으로 공식화함. 즉, 음의 기울기와의 내적 값이 최대인 원자를 선택함.
• 유계 반복값과 최소 내재 방향 폭를 복잡도 상수로 사용하여 부드럽고 볼록인 목적함수에 대해 하위선형 수렴(1/t)과 강력히 볼록인 목적함수에 대해 선형 수렴을 도출함.
• GMP와 FW의 애핀 불변 재구성 도입으로 도메인의 애핀 변환에 대해 알고리즘과 수렴 속도가 불변임을 보장함.
• 스케일된 원자 집합 α𝒜에 대한 FW와 원자 집합 𝒜의 선형 스펜에 대한 GMP 간의 관계 분석. α→∞ 일 때 FW 반복값이 GMP 반복값으로 O(1/α) 속도로 수렴함을 보임.
• 근사 LMO를 允허하는 프레임워크 확장. 수렴 속도는 근사 품질에 따라 명시적으로 반영됨.
• FW와 유사하게 업데이트 단계에서 2차 상한을 사용하여 GMP를 부드러운 목적함수로 일반화함. 이로써 희소성 또는 비산만성에 의존하지 않음.

실험 결과

연구 질문

• RQ1 일반 원자 집합에 대해 희소성 또는 비산만성 가정 없이도 일반화된 매칭 퇴적법(GMP)이 반복에 의존하지 않는 명시적 비점근 수렴 속도를 달성할 수 있는가?
• RQ2 원자 집합 스케일링 하에서, 프랭크-울프와 일반화된 매칭 퇴적법 간의 반복값과 수렴 행동 간의 정확한 관계는 무엇인가?
• RQ3 GMP와 FW의 수렴 속도를 최적화 도메인의 애핀 변환에 대해 불변으로 만들 수 있는가?
• RQ4 GMP의 선형 수렴 속도를 지배하는 기하 양은 무엇이며, 기존의 비산만성 또는 피라미드 폭과 비교해 볼 때 어떻게 다른가?
• RQ5 근사 선형 오라클을 GMP 및 FW 변형에 사용할 수 있으며, 수렴 보증을 정량화할 수 있는가?

주요 결과

• 논문은 부드럽고 볼록인 목적함수에 대해 일반화된 매칭 퇴적법(GMP)에 대해 O(1/t)의 최초의 명시적 하위선형 수렴 속도를 확립함. 이는 임의의 유계 원자 집합에 대해 유효함.
• 강력히 볼록인 목적함수에 대해 GMP는 최소 내재 방향 폭에 따라 선형 수렴 속도를 달성함. 이는 기존의 비산만성보다 더 강건한 새로운 기하 복잡도 측정값임.
• 스케일된 원자 집합 α𝒜에 대한 프랭크-울프의 수렴 속도는 원자 집합 𝒜의 선형 스펜에 대한 GMP의 수렴 속도로 O(1/α) 속도로 수렴함을 보여, 공식적인 점근적 대응 관계를 입증함.
• 제안된 알고리즘과 수렴 속도는 애핀 불변성임을 보장함. 이는 입력 공간의 애핀 변환에 대해 변하지 않으며, 이는 이전에는 뉴턴 및 FW 방법에만 알려진 성질임.
• 근사 선형 오라클을 허용하는 프레임워크로, 수렴 속도가 근사 품질에 명시적으로 의존함으로써 실용적 적용성을 향상시킴.
• 최소 내재 방향 폭는 비산만성보다 더 날카우며 더 강건한 복잡도 측정값을 제공함. 특히 새로운 원자를 추가할 경우 기존의 기하 양(예: 피라미드 폭)보다 더 좋은 수렴 경계를 이끌어냄.