[논문 리뷰] Relaxed Majorization-Minimization for Non-smooth and Non-convex Optimization

Chen Xu, Zhouchen Lin외 2명|arXiv (Cornell University)|2015. 11. 25.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 3

한 줄 요약

이 논문은 목적 함수와 서로서티 함수 간의 방향 도함수 차이가 渐진적으로 0이 되는 조건만을 요구하는 비연속 및 비볼록 최적화를 위한 완화된 주요화-최소화(MM) 프레임워크를 제안한다. 이 방법은 전체 비연속 목적 함수를 직접 근사할 수 있게 하여, 정상점로의 수렴 보장과 함께 강력한 행렬 분해(RMF)에서 최신 기법들을 능가하는 성능을 달성하며, 더 높은 해의 정밀도와 더 빠른 수렴 속도를 확보한다.

ABSTRACT

We propose a new majorization-minimization (MM) method for non-smooth and non-convex programs, which is general enough to include the existing MM methods. Besides the local majorization condition, we only require that the difference between the directional derivatives of the objective function and its surrogate function vanishes when the number of iterations approaches infinity, which is a very weak condition. So our method can use a surrogate function that directly approximates the non-smooth objective function. In comparison, all the existing MM methods construct the surrogate function by approximating the smooth component of the objective function. We apply our relaxed MM methods to the robust matrix factorization (RMF) problem with different regularizations, where our locally majorant algorithm shows advantages over the state-of-the-art approaches for RMF. This is the first algorithm for RMF ensuring, without extra assumptions, that any limit point of the iterates is a stationary point.

연구 동기 및 목표

• 기존 주요화-최소화(MM) 방법이 강한 서로서티 조건을 요구하고 부드러운 성분만 근사하는 데서 비롯되는 한계를 해결하기 위해.
• 부드러운 성분과 비부드러운 성분으로 분리하지 않고도 비연속 및 비볼록 목적 함수를 직접 근사할 수 있는 일반적인 MM 프레임워크를 개발하기 위해.
• 추가적인 가정 없이도 강력한 행렬 분해(RMF)에서 반복의 수렴이 정상점으로 보장되도록 하기 위해.
• 최신 기법들에 비해 다양한 정규화 조건 하에서 RMF의 해의 정밀도와 수렴 속도를 향상시키기 위해.

제안 방법

• 서로서티 함수에 대한 완화된 조건을 제안: 반복 수가 무한히 증가할 때 목적 함수와 서로서티 함수 간의 방향 도함수 차이가 0으로 수렴하도록 한다.
• 기존 방법이 부드러운 부분만 근사하는 데 반해, 전체 비연속 목적 함수를 직접 근사하는 국소 주요 서로서티 함수를 도입한다.
• ℓ1 및 노름 정규화를 포함한 강력한 행렬 분해(RMF)에 대해 완화된 MM 프레임워크를 적용하고, 서로서티 함수의 반복 최소화를 통해 해를 구한다.
• 완화된 조건 하에서 반복의 임계점이 정상점임을 보여주는 수렴 분석을 수행한다.
• 서로서티 하위문제를 효율적으로 해결하기 위해 RMF에서 블록좌표강하 전략을 활용한다.
• NMF 실험에서 수렴과 해의 정밀도 향상을 위해 PCA 및 k-means를 이용한 초기화 전략을 도입한다.

실험 결과

연구 질문

• RQ1 비연속 및 비볼록 목적 함수를 직접 근사할 수 있는 주요화-최소화 방법을 설계할 수 있는가? 이때 서로서티 함수의 도함수 차이가 부드럽지 않아도 된다.
• RQ2 방향 도함수 차이에 대한 제안된 완화된 조건이 비볼록, 비연속 환경에서 정상점으로의 수렴을 보장하는가?
• RQ3 강력한 행렬 분해(RMF)에서 제안된 완화된 MM 방법이 최신 기법들에 비해 해의 정밀도와 수렴 속도 측면에서 어떻게 성능을 냈는가?
• RQ4 추가적인 가정 없이도 RMF에서 반복의 수렴이 정상점으로 보장되는가?
• RQ5 실제 응용 분야인 운동 추적 및 얼굴 클러스터링에서 완화된 MM 방법의 성능 향상은 어떠한가?

주요 결과

• 제안된 완화된 MM 방법은 추가 가정 없이도 RMF에서 반복의 임계점이 정상점임을 보장하는 것으로, 이는 이전에 보고된 바가 없는 첫 번째 성과이다.
• 운동 추적 실험에서 RMF-LMMM는 상대 오차가 9.69로 가장 낮았고, 시각적으로 닫힌 원형 궤적을 생성하여 UNuBi와 RMF-GMMM를 모두 능가했다.
• 얼굴 클러스터링 실험에서 AT&T 데이터셋에서 RMF-LMMM는 정확도(0.7250), NMI(0.8655), 순수도(0.7500)가 가장 높았으며, ℓ1-NMF와 RMF-GMMM에 비해 뚜렷한 성능 향상을 보였다.
• CMUPIE 데이터셋에서 RMF-LMMM는 상대 오차 4.67을 기록하여 모든 방법 중에서 가장 낮았고, 순수도 0.4456로 벤치마크에서 가장 높은 성능을 기록했다.
• 평균적으로 20회의 반복만으로 수렴하여 ℓ1-NMF(5000회)와 RMF-GMMM(500회)에 비해 훨씬 더 빠른 수렴 속도를 보였다.
• 완화된 MM 프레임워크는 기존 MM 방법들을 일반화하며, 전체 비연속 목적 함수를 직접 근사할 수 있게 해 이전의 서로서티 구성 전략보다 더 뛰어난 성능을 달성한다.