[논문 리뷰] An Inertial Block Majorization Minimization Framework for Nonsmooth Nonconvex Optimization

Le Thi Khanh Hien, Duy Nhat Phan외 1명|arXiv (Cornell University)|2020. 10. 22.

Sparse and Compressive Sensing Techniques인용 수 11

한 줄 요약

이 논문은 비연속 비볼록 최적화를 위한 새로운 관성 블록 주요화-최소화 프레임워크인 TITAN을 소개한다. 이 프레임워크는 수렴 속도를 향상시키기 위해 외삽 연산자를 통해 관성력을 통합한다. 하위순차적 및 전역 수렴 보장을 확립하고, 희박한 비음성 행렬 분해 및 행렬 완성 문제에서의 효과성을 입증한다.

ABSTRACT

In this paper, we introduce TITAN, a novel inerTIal block majorizaTion minimizAtioN framework for non-smooth non-convex optimization problems. To the best of our knowledge, TITAN is the first framework of block-coordinate update method that relies on the majorization-minimization framework while embedding inertial force to each step of the block updates. The inertial force is obtained via an extrapolation operator that subsumes heavy-ball and Nesterov-type accelerations for block proximal gradient methods as special cases. By choosing various surrogate functions, such as proximal, Lipschitz gradient, Bregman, quadratic, and composite surrogate functions, and by varying the extrapolation operator, TITAN produces a rich set of inertial block-coordinate update methods. We study sub-sequential convergence as well as global convergence for the generated sequence of TITAN. We illustrate the effectiveness of TITAN on two important machine learning problems, namely sparse non-negative matrix factorization and matrix completion.

연구 동기 및 목표

• 비연속 비볼록 문제에 대한 블록좌표 주요화-최소화 방법에서 관성 가속의 부족을 해결한다.
• 외삽 연산자를 사용해 블록 갱신에 관성력을 통합하는 통합 프레임워크를 개발한다.
• 문제 구조에 대한 일반적인 가정 하에 반복값이 임계점으로 수렴하도록 보장한다.
• 다양한 대체 함수와 외삽 기법을 지원하는 융통성 있는 알고리즘 템플릿을 제공한다.
• 희박한 NMF와 행렬 완성과 같은 핵심 기계학습 문제에서 실용적 효능을 입증한다.

제안 방법

• 수렴 속도를 향상시키기 위해 외삽된 추정치를 사용해 블록을 순차적으로 갱신하는 TITAN이라는 관성 블록 주요화-최소화 알고리즘을 제안한다.
• 헤비볼 및 네스테로프 유형 가속을 모두 일반화하는 일반적인 외삽 연산자를 사용한다.
• 각 블록 갱신에서 비볼록 목적함수를 주요화하기 위해 대체 함수(근접, 리프시츠 기울기, 브레그만, 이차형, 복합형)를 구성한다.
• 각 반복에서 목적함수의 충분한 감소를 보장하기 위해 선형 검색 전략을 도입한다.
• 외삽 및 대체 함수의 성질을 활용해 수렴성을 입증하기 위해 라파노프 함수 접근법을 사용한다.
• 계수들이 수축 조건을 만족하도록, 연속된 반복값의 가중 차수를 통해 관성 항을 통합한다.

실험 결과

연구 질문

• RQ1 비연속 비볼록 문제에 대한 블록좌표 주요화-최소화 방법에 관성 가속을 효과적으로 통합할 수 있는가?
• RQ2 일반적인 문제 가정 하에 이러한 관성 프레임워크에 대해 어떤 수렴 보장을 확보할 수 있는가?
• RQ3 대체 함수와 외삽 연산자의 선택이 알고리즘의 수렴성과 성능에 어떤 영향을 미치는가?
• RQ4 이 프레임워크는 비볼록 및 비연속 성분을 포함한 실제 기계학습 문제에 적용될 수 있는가?
• RQ5 관성 항의 포함으로 인해 표준 블록좌표 방법에 비해 수렴 속도가 빨라지는가?

주요 결과

• TITAN은 약한 가정 하에 비볼록 문제의 임계점으로 하위순차적 수렴을 달성한다.
• 목적함수와 외삽 파rameter에 대한 추가 조건이 만족될 경우 전체 수열의 전역 수렴이 보장된다.
• 프록시멀, 브레그만, 리프시츠 기울기 등 다양한 대체 함수를 지원하며, 기존의 알려진 방법들을 특수한 경우로 일반화한다.
• 수치 실험 결과, TITAN은 희박한 비음성 행렬 분해 및 행렬 완성 과제에서 표준 블록좌표 방법보다 수렴 속도가 빠르게 나타난다.
• 관성 메커니즘이 모멘텀 유사 행동 덕분에 초기 반복에서 특히 수렴 속도를 크게 향상시킨다.
• 비볼록성과 비연속성에 대해 수렴 분석이 강인하며, 목적함수에 포함된 볼록 및 비볼록 정규화 항을 모두 다룰 수 있다.