[논문 리뷰] On the Global Convergence of Majorization Minimization Algorithms for Nonconvex Optimization Problems

Yangyang Kang, Zhihua Zhang외 1명|arXiv (Cornell University)|2015. 04. 29.

Sparse and Compressive Sensing Techniques참고 문헌 2인용 수 7

한 줄 요약

이 논문은 비볼록 최적화 문제에 대해 주요화 최소화(MM) 알고리즘의 전역 수렴성을 확립하며, Kurdyka-Łojasiewicz(KŁ) 부등식을 활용한다. 비볼록 기계학습 문제에서 흔히 발생하는 KŁ 성질을 만족하는 목적 함수일 경우, MM 반복값이 임계점으로 수렴함을 증명하여, 기존의 볼록 설정을 넘어서서 CCCP 및 반복적으로 재가중된 ℓ₁ 최소화와 같은 인기 있는 방법들에 대한 수렴 보장을 확장한다.

ABSTRACT

In this paper, we study the global convergence of majorization minimization (MM) algorithms for solving nonconvex regularized optimization problems. MM algorithms have received great attention in machine learning. However, when applied to nonconvex optimization problems, the convergence of MM algorithms is a challenging issue. We introduce theory of the Kurdyka- Lojasiewicz inequality to address this issue. In particular, we show that many nonconvex problems enjoy the Kurdyka- Lojasiewicz property and establish the global convergence result of the corresponding MM procedure. We also extend our result to a well known method that called CCCP (concave-convex procedure).

연구 동기 및 목표

• 기존의 볼록성 가정이 실패하는 비볼록 최적화 문제에서 주요화 최소화(MM) 알고리즘의 전역 수렴성을 다루는 것.
• 이전 연구보다 더 약한 가정 조건 하에서 수렴을 확립함으로써, 고립된 정류점이 필요로 하는 것을 피하는 것.
• 기계학습에서 널리 사용되는 비볼록 정규화 문제들이 Kurdyka-Łojasiewicz(KŁ) 부등식을 만족함을 보여주는 것.
• CCCP, 반복적으로 재가중된 ℓ₁ 최소화, 국소 선형 근사와 같은 기존 방법들의 수렴 결과를 통합하고 일반화하는 것.
• 비미분 가능하고 비볼록 설정에서 MM 절차의 수렴성을 분석하기 위한 KŁ 부등식을 활용한 이론적 프레임워크를 제공하는 것.

제안 방법

• 비볼록 최적화에서 MM 알고리즘의 수렴성을 분석하기 위해 Kurdyka-Łojasiewicz(KŁ) 부등식을 적용하여, 볼록성 또는 고립된 정류점에 대한 의존도를 제거한다.
• 원래 목적 함수를 지배하는 서로서프 함수를 사용하는 일반적인 MM 프레임워크를 도입하며, 최소화 단계에서 매 반복적으로 매개변수를 갱신한다.
• KŁ 성질을 사용하여, 목적 함수가 비미분 가능하거나 비볼록일 경우에도 MM이 생성하는 반복값의 수열이 임계점으로 수렴함을 보여준다.
• 내림성 성질을 통한 수렴 확보: 목적 함수 값이 매 단계에서 감소하며, 반복값 간의 차이가 합이 수렴함을 보여주어 코시 수렴성을 유도한다.
• ℓ_q(q∈(0,1)), SCAD, MCP, 캡핑된-ℓ₁와 같은 일반적인 비볼록 페널티에서 KŁ 부등식이 성립함을 보여주어 수렴 분석이 가능함을 입증한다.
• CCCP 및 반복적으로 재가중된 ℓ₁ 최소화와 같은 특정 알고리즘에 대한 분석을 확장하여, 그것들이 제안된 MM 프레임워크의 특수한 경우임을 보여준다.

실험 결과

연구 질문

• RQ1 비볼록 최적화 문제에서 MM 알고리즘이 언제 전역 수렴하는가?
• RQ2 고립된 정류점이 필요로 하지 않는 조건에서 Kurdyka-Łojasiewicz 부등식을 사용하여 MM 알고리즘의 전역 수렴성을 확립할 수 있는가?
• RQ3 SCAD, MCP 및 반복적으로 재가중된 ℓ₁ 최소화와 같은 널리 사용되는 비볼록 정규화 방법들이 제안된 MM 수렴 프레임워크에 포함되는가?
• RQ4 비미분 가능하고 비볼록 설정에서 MM 반복값의 수렴을 보장하기 위해 KŁ 성질이 수행하는 역할은 무엇인가?
• RQ5 제안된 프레임워크는 CCCP 및 LLA와 같은 기존 수렴 결과를 어떻게 통합하고 일반화하는가?

주요 결과

• 목적 함수가 Kurdyka-Łojasiewicz(KŁ) 부등식을 만족할 경우, MM 알고리즘이 전역적으로 임계점으로 수렴함을 보여주며, 이는 광범위한 비볼록 문제 클래스에서 성립한다.
• ℓ_q(q∈(0,1)), SCAD, MCP, 캡핑된-ℓ₁와 같은 표준 비볼록 페널티는 대부분 KŁ 성질을 만족하므로, 희소 추정 문제에 대한 수렴 보장을 가능하게 한다.
• 이전 연구와 달리, 모든 정류점이 고립되어 있다는 가정이 필요로 하지 않으며, 이는 이전 연구 대비 상당한 완화이다.
• MM 알고리즘이 생성하는 반복값의 수열은 코시 수열이며 따라서 수렴하며, 연속된 반복값 간의 차이가 합이 수렴함을 보여주어 임계점으로 수렴함을 의미한다.
• 전역 수렴 결과는 CCCP, 반복적으로 재가중된 ℓ₁ 최소화, 국소 선형 근사(LLA)와 같은 잘 알려진 방법들로까지 확장되며, 그것들이 제안된 프레임워크의 특수한 경우임을 보여준다.
• 분석을 통해 목적 함수 값이 단조 감소하며 유한한 극한으로 수렴하고, 반복값에서의 목적 함수의 기울기가 0으로 수렴함을 입증하여 임계점으로의 수렴을 확인한다.