[논문 리뷰] Convergence guarantees for a class of non-convex and non-smooth optimization problems

Koulik Khamaru, Martin J. Wainwright|arXiv (Cornell University)|2018. 04. 25.

Sparse and Compressive Sensing Techniques참고 문헌 30인용 수 37

한 줄 요약

이 논문은 비볼록, 비연속 최적화 문제에 대해 기울기 기반 방법—경사하강법, 프록시멀 업데이트, 프랭크-울프—에 대한 수렴 보장을 제공한다. 하위기울기 노름에 대한 비점근 수렴 속도를 확립하고, 이들 방법이 광범위한 비연속 함수의 엄격한 안장점수를 회피할 수 있음을 증명한다. 또한 CCCP 알고리즘을 단일 루프 프록시멀 방법으로 대체하여 수렴 성질을 유지하면서도 더 빠른 수렴 속도와 더 낮은 반복당 비용을 달성한다.

ABSTRACT

We consider the problem of finding critical points of functions that are non-convex and non-smooth. Studying a fairly broad class of such problems, we analyze the behavior of three gradient-based methods (gradient descent, proximal update, and Frank-Wolfe update). For each of these methods, we establish rates of convergence for general problems, and also prove faster rates for continuous sub-analytic functions. We also show that our algorithms can escape strict saddle points for a class of non-smooth functions, thereby generalizing known results for smooth functions. Our analysis leads to a simplification of the popular CCCP algorithm, used for optimizing functions that can be written as a difference of two convex functions. Our simplified algorithm retains all the convergence properties of CCCP, along with a significantly lower cost per iteration. We illustrate our methods and theory via applications to the problems of best subset selection, robust estimation, mixture density estimation, and shape-from-shading reconstruction.

연구 동기 및 목표

• 비볼록 및 비연속 함수에 대해 기울기 기반 알고리즘의 비점근 수렴 속도를 확립하기.
• 연속 함수의 경우에만 알려진 결과를 일반화하여, 비연속 함수에 대해 엄격한 안장점수로부터의 탈출 가능성을 포함한 수렴 보장을 확장하기.
• DC 프로그래밍을 위한 CCCP 알고리즘을 단일 루프 프록시멀 방법으로 단순화하여 반복당 계산 비용을 낮추면서도 수렴 성질을 유지하기.
• 연속 부분해석 함수에 대해 Kurdyka–Łojasiewicz 부등식 하에서 수렴 속도 경계를 제공하기.
• 매끄럽고 볼록 함수의 차분으로 표현될 수 있는 함수의 클래스를 규명하여, 제안된 방법의 적용 범위를 넓히기.

제안 방법

• 닫힌 볼록 집합 위에서 비볼록, 비연속 함수를 최소화하기 위한 하위기울기 알고리즘을 제안하며, 하위기울기의 유클리드 노름에 기반한 수렴 속도를 제한한다.
• 목적함수가 매끄럽고 볼록 함수의 차분으로 표현되는 문제에 대해, 약한 정규성 조건 하에서 수렴 보장을 갖는 프록시멀 유형 알고리즘을 도입한다.
• Kurdyka–Łojasiewicz 부등식을 활용하여 연속 부분해석 함수에 대해 더 빠른 수렴 속도를 유도한다.
• 정리 6를 통해 기울기의 M-매끄러운 차분 성질을 갖는 함수와 매끄럽고 볼록 함수의 차분으로 표현 가능한 함수 사이의 동치성을 확립한다.
• 함수 분해 구조를 이용해 CCCP 알고리즘의 단일 루프 변형을 유도하여 반복당 계산 비용을 감소시킨다.
• 일阶 테일러 전개와 기울기 부등식을 사용하여 분해에서 보조 함수의 볼록성을 증명함으로써 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 기울기 기반 방법이 비볼록 및 비연속 최적화 문제에 대해 비점근 수렴 속도를 달성할 수 있는가?
• RQ2 비연속 영역에서 이러한 방법이 엄격한 안장점수를 탈출할 수 있는 조건은 무엇인가?
• RQ3 CCCP 알고리즘은 어떻게 단순화할 수 있으며, 이로 인해 수렴 보장은 유지하면서 계산 효율성이 향상될 수 있는가?
• RQ4 매끄럽고 볼록 함수의 차분으로 표현될 수 있는 연속 미분 가능 함수의 클래스는 무엇인가?
• RQ5 부분해석 함수에 대해 Kurdyka–Łojasiewicz 부등식 하에서 어떤 수렴 속도 향상이 가능할 수 있는가?

주요 결과

• 논문은 일반적인 비볼록, 비연속 문제 클래스에 대해 하위기울기 노름에 대한 비점근 수렴 속도를 확립하였으며, 이 속도는 일반적으로 향상될 수 없다.
• 연속 부분해석 함수의 경우, 제안된 알고리즘은 Kurdyka–Łojasiewicz 부등식 하에서 더 빠른 수렴 속도를 달성한다.
• 단일 루프로 단순화된 알고리즘은 CCCP의 모든 수렴 보장을 유지하지만 반복당 비용을 크게 감소시켰으며, 실험 결과로 이를 입증하였다.
• 이 방법은 광범위한 비연속 함수의 엄격한 안장점수를 탈출할 수 있으며, 기존의 매끄러운 경우 결과를 일반화한다.
• 정리 6는 연속 미분 가능 함수가 매끄럽고 볼록 함수의 차분으로 표현될 수 있음이 그 기울기가 특정 리프시츠 유사 부등식을 만족할 때이고, 그 역도 성립함을 보여준다.
• 정리 6를 통한 함수 클래스의 규명은 제안된 알고리즘을 최적의 부분집합 선택, 강건 추정, 형태에서 형태 추론 등의 넓은 범위의 문제에 적용할 수 있도록 한다.