[논문 리뷰] Provable Bregman-divergence based Methods for Nonconvex and Non-Lipschitz Problems

Qiuwei Li, Zhihui Zhu외 2명|arXiv (Cornell University)|2019. 04. 22.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 19

한 줄 요약

이 논문은 Bregman 발산을 사용하여 비볼록, 비-Lipschitz 문제에 대해 증명 가능하게 수렴하는 최적화 방법을 제안한다. 이는 Lipschitz 미분 가능 조건을 Bregman 발산을 이용한 상대적 미분 가능 조건으로 일반화함으로써 달성된다. 제안된 알고리즘은 비볼록, 비-Lipschitz 문제에 대해 제약 조건이 없는 상대적 미분 가능 조건을 만족하는 모든 문제에서 제2차 정류점으로 수렴함을 보장한다. 이는 머신러닝에서 흔한 고차 다항식 목표 함수를 포함한다.

ABSTRACT

The (global) Lipschitz smoothness condition is crucial in establishing the convergence theory for most optimization methods. Unfortunately, most machine learning and signal processing problems are not Lipschitz smooth. This motivates us to generalize the concept of Lipschitz smoothness condition to the relative smoothness condition, which is satisfied by any finite-order polynomial objective function. Further, this work develops new Bregman-divergence based algorithms that are guaranteed to converge to a second-order stationary point for any relatively smooth problem. In addition, the proposed optimization methods cover both the proximal alternating minimization and the proximal alternating linearized minimization when we specialize the Bregman divergence to the Euclidian distance. Therefore, this work not only develops guaranteed optimization methods for non-Lipschitz smooth problems but also solves an open problem of showing the second-order convergence guarantees for these alternating minimization methods.

연구 동기 및 목표

• 고차 다항식 목표 함수를 가진 많은 머신러닝 문제에서 실패하는 전역 Lipschitz 미분 가능 조건에 의존하는 기존 최적화 방법의 한계를 해결하기 위해.
• Bregman 발산을 이용해 Lipschitz 미분 가능 조건을 상대적 미분 가능 조건으로 일반화하여, 비-Lipschitz 미분 가능 문제에 대한 수렴 분석을 가능하게 하기 위해.
• 모든 상대적 미분 가능 문제에 대해 제2차 정류점으로 수렴하는 새로운 Bregman-발산 기반 알고리즘을 개발하기 위해.
• 프록시멀 교대 최소화법과 프록시멀 교대 선형화 최소화법에 대한 제2차 수렴 보장을 확립하는 열린 문제를 해결하기 위해.

제안 방법

• Bregman 발산을 통한 상대적 미분 가능 조건을 도입한다. 이는 $ L_f abla^2 h(oldsymbol{x}) riangleq abla^2 f(oldsymbol{x}) riangleq 0 $ 로 정의되며, $ h $ 는 강하게 볼록 함수이다.
• 상대적 미분 가능 조건을 활용해 매 반복 단계에서 목적 함수 값이 충분히 감소하도록 보장하는 새로운 Bregman-발산 기반 최적화 알고리즘 클래스를 제안한다.
• Bregman 발산 생성자 $ h $ 의 강한 볼록성과 상대적 미분 가능 조건을 활용하여 제2차 정류점으로의 수렴 보장을 도출한다.
• Bregman 발산을 유클리드 거리로 특수화하여, 프록시멀 교대 최소화법과 프록시멀 교대 선형화 최소화법을 특수 케이스로 복원한다.
• 낮은 질량 행렬 복원, 텐서 분해, 신경망 학습과 같은 문제들에 대해 제안된 방법이 수렴함을 입증한다. 이는 Lipschitz 미분 가능하지 않은 문제들이다.
• 비볼록, 비-Lipschitz 문제에 대해 고차 다항식 목표 함수를 다룰 수 있도록 이중 볼록(Bi-convex) Bregman 발산 생성자 $ h(oldsymbol{x}, oldsymbol{y}) $ 를 사용한다.

실험 결과

연구 질문

• RQ1 1차 및 2차 최적화 방법의 수렴 이론을 Lipschitz 미분 가능 조건을 초월하여 비-Lipschitz 미분 가능 문제로 확장할 수 있는가?
• RQ2 Bregman 발산을 통한 상대적 미분 가능 조건을 이용해 비볼록 문제에 대해 제2차 정류점으로의 증명 가능한 수렴을 확립할 수 있는가?
• RQ3 기존의 교대 최소화 방법들인 프록시멀 교대 최소화법과 프록시멀 교대 선형화 최소화법이 상대적 미분 가능 조건 하에서 제2차 수렴 보장을 갖는가?
• RQ4 제안된 Bregman-발산 기반 프레임워크는 텐서 분해와 신경망 학습에서와 같이 고차 다항식 목표 함수를 다룰 수 있는가?
• RQ5 Bregman 발산 생성자 $ h $ 가 강하게 볼록이고, 비-Lipschitz 미분 가능 문제에 대해 수렴을 보장하기 위해 필요한 조건은 무엇인가?

주요 결과

• 제안된 Bregman-발산 기반 알고리즘은 비-Lipschitz 미분 가능일지라도 모든 상대적 미분 가능 문제에 대해 제2차 정류점으로 수렴함이 보장된다.
• 상대적 미분 가능 조건은 Lipschitz 미분 가능 조건을 일반화하며, 모든 유한차 다항식 목표 함수에 대해 만족된다. 이는 낮은 질량 행렬 복원 및 텐서 분해 문제를 포함한다.
• Bregman 발산을 유클리드 거리로 특수화할 경우, 프록시멀 교대 최소화법과 프록시멀 교대 선형화 최소화법이 특수 케이스로 복원되며, 이는 이들 방법의 제2차 수렴 보장에 대한 열린 문제를 해결한다.
• 고차 다항식을 포함한 텐서 분해 문제에 대해서는 구성된 강한 이중 볼록 Bregman 생성자 $ h $ 를 기반으로 $ (L_1, L_2) $-상대적 이중 미분 가능 조건을 확립하여 수렴을 보장한다.
• 일반적인 상대적 미분 가능 조건: $ L_f abla^2 h(oldsymbol{x}) riangleq abla^2 f(oldsymbol{x}) riangleq 0 $ 에 기반한 수렴이 입증되었으며, 이는 다항식 목표 함수를 가진 문제들에 대해 전역적으로 성립한다.
• 헤시안 스펙트럼 노름이 유계가 아님을 요구하지 않기 때문에, 딥러닝 및 신호 처리에서의 비-Lipschitz 미분 가능 문제들에 적용 가능하다.