[논문 리뷰] Proximal Newton-type Methods for Minimizing Convex Objective Functions in Composite Form

Jason D. Lee, Yuekai Sun외 1명|arXiv (Cornell University)|2012. 01. 01.

Sparse and Compressive Sensing Techniques인용 수 3

한 줄 요약

이 논문은 부드럽고 비부드러운 함수로 구성된 볼록 복합 목적함수를 최소화하기 위해 프록시멀 뉴턴형 방법을 제안한다. 비부드러운 성분의 프록시멀 맵핑이 단순한 경우, 이 방법은 근사적인 탐색 방향을 사용하더라도 뉴턴형 방법의 빠른 수렴성을 유지하며, 생물정보학, 신호 처리 및 머신러닝 분야의 기존 접근법을 일반화하면서도 새로운 수렴 보장을 확립한다.

ABSTRACT

We generalize Newton-type methods for minimizing smooth functions to handle a sum of two convex functions: a smooth function and a nonsmooth function with a simple proximal mapping. We show that the resulting proximal Newton-type methods inherit the desirable convergence behavior of Newton-type methods for minimizing smooth functions, even when search directions are computed inexactly. Many popular methods tailored to problems arising in bioinformatics, signal processing, and statistical learning are special cases of proximal Newton-type methods, and our analysis yields new convergence results for some of these methods.

연구 동기 및 목표

• 부드럽고 비부드러운 항을 포함하는 복합 볼록 목적함수를 다룰 수 있도록 뉴턴형 방법을 일반화한다.
• 복합 설정에서 근사 선형 탐색을 사용할 경우에도 뉴턴 방법의 빠른 수렴 성질을 유지한다.
• 생물정보학, 신호 처리 및 통계학적 학습 분야의 기존 방법들을 하나의 프레임워크로 통합하고 일반화한다.
• 제안된 프록시멀 뉴턴형 프레임워크 내에서 기존 방법들을 둘러싸며 새로운 수렴 결과를 확립한다.

제안 방법

• 비부드러운 성분을 다루기 위해 프록시멀 항을 통합함으로써 뉴턴형 최적화를 확장한다.
• 부드러운 부분의 국소 2차 근사와 비부드러운 항을 조합한 복합 모델을 사용한다.
• 탐색 방향은 비부드러운 함수의 프록시멀 연산자를 포함하는 하위문제를 풀어 계산한다.
• 탐색 방향 계산의 비정확성도 허용되며, 온건한 조건 하에서 수렴성이 유지된다.
• 적절한 가정 하에 전역 수렴성과 초선형 수렴 속도를 유지한다.
• 이 프레임워크는 L1-정규화된 최소제곱법과 그룹 라소와 같은 기존 방법들을 통합된 프록시멀 뉴턴 방식에 통합함으로써 일반화한다.

실험 결과

연구 질문

• RQ1 뉴턴형 방법은 비부드러운 정규화 항을 포함하는 복합 볼록 최적화 문제로 확장될 수 있는가?
• RQ2 탐색 방향 계산이 비정확할 경우 제안된 방법이 여전히 빠른 수렴성을 유지하는가?
• RQ3 신호 처리 및 머신러닝 분야의 기존 방법들은 제안된 프록시멀 뉴턴형 프레임워크와 어떻게 관련이 있는가?
• RQ4 비정확성과 복합 구조 하에서 신규 방법에 대해 어떤 수렴 보장을 확립할 수 있는가?
• RQ5 이 프레임워크는 적용 분야의 잘 알려진 최적화 기법들을 통합하고 일반화할 수 있는가?

주요 결과

• 프록시멀 뉴턴형 방법은 비정확한 탐색 방향을 사용하더라도 고전적 뉴턴 방법의 전역 수렴성과 초선형 수렴 속도를 그대로 유지한다.
• 이 방법은 생물정보학, 신호 처리 및 통계학적 학습 분야에서 널리 사용되는 다양한 기존 알고리즘을 일반화한다.
• 탐색 방향 계산의 비정확성 조건을 포함한 온건한 가정 하에서 새로운 방법의 수렴 결과를 확립한다.
• 이 프레임워크는 몇 가지 기존 방법의 수렴 행동을 설명하고 강화하는 통합적 시각을 제공한다.
• 비부드러운 항의 프록시멀 맵핑은 정확하게 계산되어 실무에서 효율적인 하위문제 해법을 가능하게 한다.