[논문 리뷰] Proximal Newton-type methods for convex optimization

Jason D. Lee, Yuekai Sun외 1명|arXiv (Cornell University)|2012. 06. 07.

Sparse and Compressive Sensing Techniques참고 문헌 24인용 수 21

한 줄 요약

이 논문은 미분 가능 함수 g(x)와 미분 가능하지 않은 함수 h(x)의 합으로 표현되는 복합 볼록 최적화 문제 minₓ g(x) + h(x)를 해결하기 위한 프록시널 뉴턴형 방법을 제안한다. 여기서 g는 미세하게 부드럽고 h는 효율적으로 계산 가능한 프록시멀 매핑을 가진다. 이 방법은 뉴턴 단계와 프록시멀 정규화를 결합하여 전역 수렴성과 초선형 국소 수렴 속도를 달성하며, 기계 학습 및 통계 적용 분야에서 효과가 입증되었다.

ABSTRACT

We seek to solve convex optimization problems in composite form: minimize x∈Rn f(x): = g(x) + h(x), where g is convex and continuously differentiable and h: Rn → R is a convex but not necessarily differentiable function whose proximal mapping can be eval-uated efficiently. We derive a generalization of Newton-type methods to handle such convex but nonsmooth objective functions. We prove such methods are glob-ally convergent and achieve superlinear rates of convergence in the vicinity of an optimal solution. We also demonstrate the performance of these methods using problems of relevance in machine learning and statistics. 1

연구 동기 및 목표

• 부드러운 볼록 함수와 프록시멀 매핑이 효율적으로 계산 가능한 비부드러운 볼록 함수의 합으로 이루어진 최적화 문제를 다루는 것.
• 프록시멀 정규화를 통해 비부드러운 항을 다룰 수 있도록 뉴턴형 방법을 확장하는 것.
• 제안된 방법의 전역 수렴성과 초선형 국소 수렴 속도를 확립하는 것.
• 기계 학습 및 통계 분야에서 관련된 문제들에 대해 제안된 방법의 실용적 성능을 입증하는 것.

제안 방법

• 이 방법은 비부드러운 성분 h(x)를 다루기 위해 프록시멀 항을 통합함으로써 뉴턴 방법을 일반화하여, 각 반복 단계에서 프록시멀-뉴턴 하위문제를 도출한다.
• 각 반복 단계에서, g(x)의 헤시안과 프록시멀 정규화 항을 조합하여 잘 정의된 하위문제를 풀며, 수렴성과 안정성을 보장한다.
• h(x)의 프록시멀 매핑은 각 단계에서 정확하게 계산되며, 이는 h가 비미분 가능할 경우에도 효율적인 계산을 가능하게 한다.
• 목적 함수의 충분한 감소를 보장하기 위해 선 탐색 전략을 사용함으로써 전역 수렴성을 유지한다.
• g(x)의 이차 정보를 활용함으로써 최적 해 근처에서 초선형 수렴 속도를 달성하도록 알고리즘을 설계한다.
• 이 프레임워크는 라소 및 그룹 라소와 같은 기계 학습 및 통계 분야에서 흔히 나타나는 광범위한 복합 문제에 적용 가능하다.

실험 결과

연구 질문

• RQ1 효율적으로 계산 가능한 프록시멀 매핑을 가진 비부드러운 복합 목표 함수를 다룰 수 있도록 뉴턴형 방법을 효과적으로 확장할 수 있는가?
• RQ2 비부드러운 항이 존재하는 상황에서 이러한 일반화된 뉴턴 방법에 대해 어떤 수렴 보장을 확립할 수 있는가?
• RQ3 복합 볼록 최적화 문제에서 제안된 방법은 일阶 방법 대비 수렴 속도가 어떻게 다른가?
• RQ4 최적 해 근처에서 프록시얼 뉴턴형 방법의 국소 수렴 속도는 어떠한가?
• RQ5 이 방법은 기계 학습 및 통계 분야의 실제 문제들에 대해 실용적으로 효과적인가?

주요 결과

• 제안된 프록시얼 뉴턴형 방법은 복합 볼록 최적화 문제에 대해 전역 수렴성을 확보한다.
• 최적 해 근처에서 이 방법은 초선형 국소 수렴 속도를 나타내며, 최소값 근처에서의 수렴 속도가 매우 빠름을 시사한다.
• h(x)의 정확한 프록시멀 매핑 계산을 활용함으로써, h가 비미분 가능할 경우에도 효율성을 유지한다.
• 수치 실험 결과, 기계 학습 및 통계 분야에서 관련된 문제들에 대해 제안된 방법이 일阶 방법보다 수렴 속도 면에서 뛰어나게 성능을 발휘함을 보였다.
• 이차 정보의 활용과 프록시멀 연산자를 통한 효율적 하위문제 해법 덕분에 방법은 강건하고 확장 가능하다.