[논문 리뷰] Revisiting Frank-Wolfe for Polytopes: Strict Complementarity and Sparsity

Dan Garber|arXiv (Cornell University)|2020. 05. 31.

Advanced Combinatorial Mathematics참고 문헌 28인용 수 4

한 줄 요약

이 논문은 다면체 위에서 미분 가능하고 볼록인 최소화 문제에 대해 Frank-Wolfe 알고리즘을 재검토하며, 표준 버전의 away-step를 사용할 경우 최악의 경우에도 여전히 환경 차원에 명시적인 의존성이 존재함을 보여준다. 엄격한 보완 조건을 만족할 경우 수렴 속도가 선형으로 빨라지고, 이는 오직 최적 해의 면 차원에만 의존함을 입증하며, 이는 희소 문제에서의 경험적 성공을 설명하고 최적 해의 노이즈에 대한 강건성을 연결한다.

ABSTRACT

In recent years it was proved that simple modifications of the classical Frank-Wolfe algorithm (aka conditional gradient algorithm) for smooth convex minimization over convex and compact polytopes, converge with linear rate, assuming the objective function has the quadratic growth property. However, the rate of these methods depends explicitly on the dimension of the problem which cannot explain their empirical success for large scale problems. In this paper we first demonstrate that already for very simple problems and even when the optimal solution lies on a low-dimensional face of the polytope, such dependence on the dimension cannot be avoided in worst case. We then revisit the addition of a strict complementarity assumption already considered in Wolfe's classical book \cite{Wolfe1970}, and prove that under this condition, the Frank-Wolfe method with away-steps and line-search converges linearly with rate that depends explicitly only on the dimension of the optimal face. We motivate strict complementarity by proving that it implies sparsity-robustness of optimal solutions to noise.

연구 동기 및 목표

• 대규모 희소 문제에서 Frank-Wolfe 변형의 경험적 성공을 설명하기 위해, 수렴 속도가 환경 차원에 영향을 받지 않는 것처럼 보이는 이유를 밝히는 것.
• 표준 Frank-Wolfe 방법이 away-step을 사용할 경우, 최적 해가 낮은 차원의 면 위에 있을지라도 여전히 최악의 경우에 환경 문제 차원에 명시적인 의존성을 보임을 보여주는 것.
• Wolfe의 고전적 엄격한 보완 조건을 재검토하여, 이 조건이 최적 해의 면 차원에만 의존하는 차원에 독립적인 선형 수렴 속도를 가능하게 함을 보여주는 것.
• 엄격한 보완 조건이 최적 해가 결정론적 노이즈 편향에 대해 강건함을 보여주므로, 이를 통해 이 조건을 정당화하는 것.

제안 방법

• 최적 해가 정점(0차원 면)일지라도 여전히 환경 차원에 비례하는 반복 수가 필요함을 보여주는 최악의 경우 구성법을 제안한다.
• Wolfe의 엄격한 보완 조건을 재검토하며, 이 조건은 최적 해에서의 기울기가 최적 해의 면에 포함되지 않은 정점들에 대해 엄격히 양수임을 보장한다.
• 엄격한 보완 조건 하에서, away-step과 선형 검색을 사용하는 Frank-Wolfe 방법이 선형으로 수렴하며, 이 수렴 속도는 환경 공간의 차원이 아닌 최적 해의 면 차원에만 의존함을 증명한다.
• 이중 갭 분석과 검색 방향의 노름에 대한 경계를 사용하여, 반복점이 최적 해의 면에 진입한 후 수렴 속도가 향상되고 이는 면의 기하학적 성질에만 의존함을 보여준다.
• 엄격한 보완 조건이 최적 해의 면이 결정론적 편향에 대해 강건함을 의미함을 입증한다. 즉, 작은 노이즈가 최적 해를 더 높은 차원의 면으로 이동시키지 않음을 보여준다.
• 기존의 수렴 결과(예: Lacoste-Julien & Jaggi, 2015의 정리 2)를 활용하여 이중 갭을 경계하고 스텝 크기를 제어함으로써 반복점이 결국 최적 해의 면에 진입하고 그 안에 머물도록 보장한다.

실험 결과

연구 질문

• RQ1 최적 해가 다면체의 낮은 차원의 면 위에 있을 경우, Frank-Wolfe 수렴 속도의 환경 차원에 대한 명시적 의존성을 피할 수 있는가?
• RQ2 Wolfe와 Guélat & Marcotte가 이전에 사용한 고전적 엄격한 보완 조건이 최적 해의 면 차원에만 의존하는 향상된 수렴 속도를 이끌어내는가?
• RQ3 엄격한 보완 조건과 희소 최적화 문제에서의 최적 해가 결정론적 노이즈에 대해 강건함 사이의 관계는 무엇인가?
• RQ4 왜 away-step을 포함한 Frank-Wolfe 변형은 이론적 수렴 속도가 환경 차원에 비례함에도 불구하고 실무에서 잘 작동하는가?

주요 결과

• 최악의 경우 구성법을 통해 최적 해가 정점(0차원 면)일지라도, away-step을 포함한 Frank-Wolfe 알고리즘이 여전히 환경 차원에 비례하는 반복 수가 필요함을 보여주며, 일반적으로 이러한 의존성이 피할 수 없음을 입증한다.
• 엄격한 보완 조건 하에서, away-step과 선형 검색을 사용하는 Frank-Wolfe 방법은 최적 해의 면 차원에만 의존하는 수렴 속도로 선형 수렴을 보인다.
• 엄격한 보완 조건은 최적 해에서의 기울기가 최적 해의 면에 포함되지 않은 모든 정점들과 양의 내적을 가지며, 이는 알고리즘이 불필요한 단계를 피하고 반복점을 최적 해의 면 안에 유지할 수 있도록 한다.
• 논문은 엄격한 보완 조건이 최적 해의 면이 결정론적 편향에 대해 강건함을 의미함을 증명한다. 즉, 작은 노이즈가 최적 해를 더 높은 차원의 면으로 이동시키지 않으며, 이는 문제의 잘 조절된 상태임을 해석하는 데 기여한다.
• 전역 직경 경계 D를 최적 해의 면의 직경 D_F*로 대체함으로써 수렴 속도 경계를 향상시켜 더 날카롭고 면 차원에 의존하는 수렴 속도를 도출한다.
• 분석 결과, 반복점이 최적 해의 면에 진입한 후(유한한 수의 단계 이후), 알고리즘이 낮은 차원의 다면체 위에서 최적화를 수행하는 것처럼 행동함을 보여주며, 이는 더 빠른 수렴을 가능하게 한다.