[논문 리뷰] Composite Self-Concordant Minimization

Quoc Tran-Dinh, Anastasios Kyrillidis외 1명|arXiv (Cornell University)|2013. 08. 13.

Sparse and Compressive Sensing Techniques참고 문헌 65인용 수 64

한 줄 요약

이 논문은 자가동조화 함수의 복합체를 최소화하기 위한 변수 거리계 프레임워크를 제안한다—자기동조화 함수의 합으로 이루어진 함수들로, 그 중 하나는 자가동조화 함수이며 다른 하나는 계산이 용이한 프록시멀 연산자를 가진 비미분 가능 볼록 함수이다. 이는 표준 리프시츠 연속 기울기 가정을 필요로 하지 않는다. 주요 기여는 자가동조화 성질에 기반한 새로운 스텝 사이즈 선택 및 보정 메커니즘으로, 온건한 조건 하에서 초선형 수렴 속도를 달성하는 전역 수렴을 가능하게 한다.

ABSTRACT

We propose a variable metric framework for minimizing the sum of a self-concordant function and a possibly non-smooth convex function, endowed with an easily computable proximal operator. We theoretically establish the convergence of our framework without relying on the usual Lipschitz gradient assumption on the smooth part. An important highlight of our work is a new set of analytic step-size selection and correction procedures based on the structure of the problem. We describe concrete algorithmic instances of our framework for several interesting applications and demonstrate them numerically on both synthetic and real data.

연구 동기 및 목표

• 부드러운 성분이 리프시츠 연속 기울기를 갖지 않을 경우 복합 볼록 최적화 문제에서 전역 수렴 보장이 부족한 문제를 해결한다.
• 리프시츠 기울기 가정에 의존하지 않고도 수렴성과 효율성을 유지하는 프레임워크를 개발한다. 이는 실무에서 자주 위반되는 조건이다.
• 자기동조화 이론에 기반한 스텝 사이즈 선택 및 보정 전략을 도입하여 수렴의 강건성을 확보한다.
• 자기동조화 함수와 계산이 용이한 프록시멀 정규화를 포함하는 복합 문제에서 전역 수렴과 초선형 수렴 속도를 달성한다.
• 희소 최적화, 그래프 학습 및 기타 비미분 가능 정규화를 가진 구조적 문제에 적용 가능한 통합 알고리즘 프레임워크를 제공한다.

제안 방법

• 부드러운 성분의 헤시안을 프록시멀 연산자에서 거리계로 사용하는 변수 거리계 프록시멀-뉴턴 방법을 제안한다.
• 부드러운 함수의 자기동조화 성질에 기반한 새로운 스텝 사이즈 선택 규칙을 설계하여 목적함수의 충분한 감소를 보장한다.
• 비리프시츠 연속 기울기 조건 하에서도 수렴을 유지하기 위해 탐색 방향을 조정하는 보정 절차를 도입한다.
• 헤시안 근사가 渐진적으로 향상될 경우, 덴니스-모레 조건을 이용해 초선형 수렴을 확립한다.
• 변수 거리계를 가진 일반화된 프록시멀 연산자를 사용하여 고차원 환경에서의 효율적 계산을 가능하게 하는 알고리즘을 제작한다.
• 자기동조화 잠재함수를 바탕으로 한 리아푸노프 유사 함수를 이용해 수렴성을 확립하며, 리프시츠 가정 없이도 전역 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 부드러운 성분에 대해 리프시츠 연속 기울기 가정이 없이도 복합 자기동조화 최소화 문제에서 전역 수렴을 달성할 수 있는가?
• RQ2 자기동조화 함수의 내재 기하학적 성질을 활용해 적응형 스텝 사이즈를 설계할 수 있는가? 이를 통해 수렴을 보장할 수 있는가?
• RQ3 헤시안 근사가 반복 과정에서 향상될 경우, 변수 거리계 방법에서 초선형 수렴을 보장하는 조건은 무엇인가?
• RQ4 비미분 가능 정규화가 존재하는 상황에서 리프시츠 기울기 가정을 제거하면서도 계산의 실현 가능성을 유지할 수 있는가?
• RQ5 비리프시츠 연속 기울기 조건 하에서 기존의 프록시멀-기울기 또는 뉴턴 유사 방법과 비교해 본 논문의 프레임워크는 수렴 속도와 강건성 측면에서 어떻게 다른가?

주요 결과

• 제안된 프레임워크는 부드러운 성분에 대해 리프시츠 기울기 가정이 없이도 복합 자기동조화 최소화 문제에서 전역 수렴을 달성한다.
• 헤시안 근사가 덴니스-모레 조건을 만족할 경우, 온건한 조건 하에서 알고리즘이 초선형 수렴을 보인다.
• 스텝 사이즈 선택 및 보정 메커니즘은 직접적으로 자기동조화 구조에서 유도되어 충분한 감소와 안정성을 보장한다.
• 전역적으로 선형 수렴 속도를 보이며, 조건수와 헤시안 근사 정확도에 따라 요소가 결정된다.
• 헤시안이 전역적으로 리프시츠가 아니더라도, 국소 자기동조화 성질에 기반함으로써 전역 수렴을 유지한다.
• 합성 및 실세계 데이터에 대한 수치 실험을 통해 이 방법이 희소 복구 및 낮은 질서 복구 과제에서 강건성과 효율성을 입증한다.