[논문 리뷰] Leveraging Two Reference Functions in Block Bregman Proximal Gradient Descent for Non-convex and Non-Lipschitz Problems

Tianxiang Gao, Songtao Lu외 2명|arXiv (Cornell University)|2019. 12. 16.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 5

한 줄 요약

이 논문은 비볼록, 비립시츠 최적화 문제를 위한 블록 단위 두 기준 Bregman 프락시멀 그래디언트(B2B) 방법을 제안한다. 두 기준 함수를 활용하여 닫힌 형식의 Bregman 투영을 가능하게 하며, 탐욕적 또는 무작위 블록 선택 기준 하에서 전역 수렴성을 확립한다. 수렴 속도는 $Ó(\sqrt{s}/\sqrt{k})$이며, 순환적 BCD 대비 $Ó(\sqrt{s})$ 빠르다. 비음수 행렬 분해(NMF) 문제에서 뛰어난 성능을 보였다.

ABSTRACT

In the applications of signal processing and data analytics, there is a wide class of non-convex problems whose objective function is freed from the common global Lipschitz continuous gradient assumption (e.g., the nonnegative matrix factorization (NMF) problem). Recently, this type of problem with some certain special structures has been solved by Bregman proximal gradient (BPG). This inspires us to propose a new Block-wise two-references Bregman proximal gradient (B2B) method, which adopts two reference functions so that a closed-form solution in the Bregman projection is obtained. Based on the relative smoothness, we prove the global convergence of the proposed algorithms for various block selection rules. In particular, we establish the global convergence rate of $O(\frac{\sqrt{s}}{\sqrt{k}})$ for the greedy and randomized block updating rule for B2B, which is $O(\sqrt{s})$ times faster than the cyclic variant, i.e., $O(\frac{s}{\sqrt{k}} )$, where $s$ is the number of blocks, and $k$ is the number of iterations. Multiple numerical results are provided to illustrate the superiority of the proposed B2B compared to the state-of-the-art works in solving NMF problems.

연구 동기 및 목표

• 비볼록, 비립시츠 설정에서 블록 단위 Bregman BCD 방법의 수렴 속도 분석 부족 문제를 해결하기 위해.
• 반복적인 Bregman 투영의 계산적 병목 현상을 극복하기 위해 두 기준 함수를 도입하여 닫힌 형식의 해를 가능하게 하기 위해.
• 순환 규칙에 비해 탐욕적 및 무작위 블록 선택 규칙에 대해 더 빠른 수렴 속도를 확립하기 위해.
• 기울기가 전역적으로 립시츠 연속이 아닌 비볼록 최적화 문제(예: NMF)에 대해 전역 수렴 알고리즘을 제공하기 위해.
• 기존의 전통적 가정을 초월하여 Bregman 프락시멀 프레임워크를 확장하여, 구조화된 비볼록 문제에 대해 효율적이고 확장 가능한 최적화를 가능하게 하기 위해.

제안 방법

• 두 기준 함수를 사용하여 Bregman 부분문제를 두 부분으로 분할함으로써, Bregman 투영에 대한 닫힌 형식의 해를 유도하는 B2B 방법을 제안한다.
• 전역적으로 립시츠 연속인 기울기를 요구하지 않는 Bregman 산열 거리 기반의 상대적 스무스함 프레임워크를 활용하여 수렴 분석을 수행한다.
• 세 가지 블록 선택 규칙(순환, 탐욕, 무작위)을 사용하는 블록 단위 갱신 전략을 적용하며, 각각에 대해 별도의 수렴 보장이 있다.
• Bregman 거리 기반 내림막 성질를 유도하여 목적 함수 감소를 정량화하고, 상대적 스무스함 조건 하에서 수렴 분석을 가능하게 한다.
• 목적 함수의 충분한 감소를 보장하면서도 계산 효율성을 유지하는 스텝 사이즈 규칙을 도입한다.
• 기울기가 전역적으로 립시츠 연속이 아닌 비음수 행렬 분해(NMF) 문제에 이 방법을 적용한다.

실험 결과

연구 질문

• RQ1 Bregman 기반 블록 좌표 방법이 전역적으로 립시츠 연속인 기울기를 가정하지 않고도 비볼록, 비립시츠 문제에 대해 전역 수렴을 달성할 수 있는가?
• RQ2 두 기준 함수를 도입함으로써 Bregman 투영 부분문제를 닫힌 형식으로 해결할 수 있는가?
• RQ3 탐욕적 및 무작위 블록 선택 규칙 하에서 B2B 방법의 수렴 속도는 순환 갱신에 비해 어떻게 다른가?
• RQ4 제안된 B2B 방법은 NMF 문제에서 최신 기술 대비 성능 면에서 어떻게 비교되는가?
• RQ5 상대적 스무스함 프레임워크를 활용하여 비볼록 설정에서 블록 단위 Bregman 방법의 수렴 속도를 유도할 수 있는가?

주요 결과

• B2B 방법은 순환, 탐욕, 무작위 블록 선택 규칙 전부에 대해 정류점으로의 전역 수렴을 달성한다.
• 탐욕적 및 무작위 블록 갱신의 경우 수렴 속도는 $Ó(\sqrt{s}/\sqrt{k})$이며, 이는 순환 규칙의 $Ó(s/\sqrt{k})$ 속도보다 $Ó(\sqrt{s})$ 빠르다.
• 두 기준 함수의 사용 덕분에 Bregman 투영의 닫힌 형식 해가 가능해져 반복적 해법 대비 계산 비용을 크게 감소시킨다.
• 수치 결과는 B2B가 비음수 행렬 분해(NMF) 문제를 해결하는 데 있어 수렴 속도와 해의 품질 면에서 최신 기술을 능가함을 보여준다.
• 수렴 속도 분석은 엄밀하며 상대적 스무스함 기반으로 이루어져 전역적으로 립시츠 연속인 기울기를 요구하는 제한적인 가정을 피한다.
• 이 방법은 신호 처리 및 데이터 분석 분야의 광범위한 비볼록 문제(예: NMF, 텐서 분해, 포아송 우도 모델)에 적용 가능하다.