[논문 리뷰] Affine Invariant Analysis of Frank-Wolfe on Strongly Convex Sets

Thomas Kerdreux, Lewis Liu외 2명|arXiv (Cornell University)|2020. 11. 06.

Stochastic Gradient Optimization Techniques참고 문헌 38인용 수 4

한 줄 요약

이 논문은 강한 볼록 집합 위에서 프랭크-울프 알고리즘에 대한 애핀 불변 분석을 제안하며, 새로운 구조적 가정인 방향 평탄성(directional smoothness)을 도입함으로써 노름에 의존하지 않는 수렴 속도를 가능하게 한다. 이는 놀랍게도 비불변 노름을 사용한 평탄성 추정에도 불구하고 애핀 불변 최적 단계 크기를 회복하는 애핀 불변 백트래킹 선색색을 개발한다. 이는 알고리즘의 애핀 공변성과 이전의 노름에 의존하는 수렴 경계 사이의 오랫동안 지속된 모순을 해결한다.

ABSTRACT

It is known that the Frank-Wolfe (FW) algorithm, which is affine-covariant, enjoys accelerated convergence rates when the constraint set is strongly convex. However, these results rely on norm-dependent assumptions, usually incurring non-affine invariant bounds, in contradiction with FW's affine-covariant property. In this work, we introduce new structural assumptions on the problem (such as the directional smoothness) and derive an affine invariant, norm-independent analysis of Frank-Wolfe. Based on our analysis, we propose an affine invariant backtracking line-search. Interestingly, we show that typical backtracking line-searches using smoothness of the objective function surprisingly converge to an affine invariant step size, despite using affine-dependent norms in the step size's computation. This indicates that we do not necessarily need to know the set's structure in advance to enjoy the affine-invariant accelerated rate.

연구 동기 및 목표

• 강한 볼록 집합에서의 기존 노름에 의존하는 수렴 경계와 프랭크-울프 알고리즘의 애핀 공변성 사이의 모순을 해결하기 위해.
• 애핀 변환에 대해 불변인 수렴 분석을 개발하여 이론적 보장을 알고리즘의 본질적 기하적 성질과 일치시키기 위해.
• 강한 볼록 집합에서 애핀 불변 수렴 속도를 가능하게 하는 새로운 구조적 가정인 방향 평탄성을 도입하기 위해.
• 평탄성 추정에서 애핀에 의존하는 노름을 사용하더라도 애핀 불변 단계 크기를 제공하는 백트래킹 선색색 방법을 설계하기 위해.
• 표준 백트래킹 선색색이 노름이 불변이 아니어도 실제로는 애핀 불변 단계 크기를 자연스럽게 회복함을 이론적·실험적으로 입증하기 위해.

제안 방법

• 내림내림 방향의 국소 평탄성 상수를 통해 정의되는 새로운 구조적 가정인 방향 평탄성을 도입하여, 함수 곡률을 방향적으로 적응적으로 제한한다.
• 방향 평탄성을 사용하여 강한 볼록 집합에서 프랭크-울프의 애핀 불변 수렴 속도를 유도하며, 미묘한 조건 하에서 O(1/K²) 수렴 속도를 달성한다.
• 방향 평탄성 상수 L_loc(x_k)를 ℓ₂ 노름을 사용해 추정하는 백트래킹 선색색을 제안하지만, 증명적으로 최적의 애핀 불변 단계 크기에 수렴한다.
• 비불변 노름을 사용함에도 불구하고 평탄성 추정의 구조 덕분에 단계 크기가 최적의 애핀 불변 속도와 일치함을 입증한다.
• 임의의 노름에 의존하지 않도록 방향적 행동과 애핀 불변 양에 초점을 맞춘 새로운 분석 프레임워크를 사용한다.
• 투영 및 분류 문제에 대한 이론적 경계와 실험적 검증을 통해 제안된 방법의 강건성과 불변성을 확인한다.

실험 결과

연구 질문

• RQ1 노름에 의존하는 가정 없이도 강한 볼록 집합에서의 프랭크-울프에 대한 애핀 불변 수렴 분석을 수립할 수 있는가?
• RQ2 비불변 노름을 사용하는 백트래킹 선색색이 실제로도 애핀 불변 단계 크기를 제공하는가?
• RQ3 어떤 구조적 가정이 강한 볼록 집합에서의 프랭크-울프에 대해 노름에 의존하지 않고 애핀 불변 수렴 속도를 가능하게 하는가?
• RQ4 노름에 의존하는 표준 백트래킹 선색색이 실제로는 어떻게 애핀 불변 수렴을 달성하는가?
• RQ5 방향 평탄성은 전통적인 평탄성과 강한 볼록성 가정의 일반적 대체로 사용될 수 있는가?

주요 결과

• 제안된 방향 평탄성 가정은 노름에 의존하지 않고 애핀 불변적인 함수 곡률 특성화를 제공하며, 향상된 수렴 분석을 가능하게 한다.
• 방향 평탄성 추정에 기반한 백트래킹 선색색 방법은 ℓ₂ 노름을 사용함에도 불구하고 단계 크기가 증명적으로 애핀 불변임을 입증한다.
• 실험 결과는 애핀 불변 백트래킹 방법이 표준 백트래킹 및 1/L 단계 크기를 사용하는 단순한 프랭크-울프보다 더 빠르게 수렴함을 보여주며, 특히 악조건의 설정에서 두드러진다.
• 방향 평탄성 상수 L_loc(x)는 애핀 변환에 대해 불변이며, 문제의 변환 행렬의 조건수 변화에 관계없이 추정치가 안정적이다.
• 이론적 분석을 통해 백트래킹 선색색이 min{1, 1/(2L_loc)} ≤ γ⋆ 를 만족하는 단계 크기 γ⋆ 를 찾음을 증명하며, 이는 최적의 애핀 불변 수렴 속도와 일치한다.
• 투영 및 분류 작업에 대한 실험은 애핀 불변 방법이 노름에 의존하는 대안들과 달리 애핀 변환 하에서도 일관된 성능을 유지함을 확인한다.