[논문 리뷰] A proximal Newton framework for composite minimization: Graph learning without Cholesky decompositions and matrix inversions

Quoc Tran Dinh, Anastasios Kyrillidis외 1명|arXiv (Cornell University)|2013. 01. 08.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 13

한 줄 요약

이 논문은 그래프 학습에서 코시 분해와 행렬 역행렬 계산을 피하기 위해 분석적 단계 크기 선택과 이중 형태를 활용함으로써, 복합 최소화를 위한 새로운 프록시멀 뉴턴 프레임워크를 제안한다. 이 방법은 국소적 2차 수렴을 달성하며, 비용이 많이 드는 행렬 분해나 반복적 선 탐색에 의존하지 않고도 희소 정밀도 행렬 추정에 대해 효율적이고 확장 가능한 최적화를 가능하게 한다.

ABSTRACT

We propose an algorithmic framework for convex minimization problems of a composite function with two terms: a self-concordant function and a possibly nonsmooth regularization term. Our method is a new proximal Newton algorithm that features a local quadratic convergence rate. As a specific instance of our framework, we consider the sparse inverse covariance matrix estimation in graph learning problems. Via a careful dual formulation and a novel analytic step-size selection procedure, our approach for graph learning avoids Cholesky decompositions and matrix inversions in its iteration making it attractive for parallel and distributed implementations.

연구 동기 및 목표

• 기존의 두 번째 차수 방법에서 발생하는 코시 분해와 행렬 역행렬 계산으로 인해 발생하는 희소 정밀도 행렬 추정의 확장성 문제를 해결하기 위해.
• 자기-일관성 조건을 만족하는 항과 비연속 정규화 항을 포함한 복합 최소화 문제에 대해 국소적 2차 수렴을 보장하는 프록시멀 뉴턴 알고리즘을 개발하기 위해.
• 백트래킹 선 탐색 또는 신뢰 영역 전역화 전략을 필요로 하지 않도록 분석적이고 최적의 단계 크기 선택 절차를 통해 이를 제거하기 위해.
• 각 반복에서 비용이 많이 드는 행렬 연산을 피함으로써 효율적이고 분산형, 병렬 처리가 가능한 구현을 가능하게 하기 위해.
• 명시적인 행렬 역행렬 계산을 피하는 이중 형태를 통해 그래프 학습에서의 프레임워크의 효과성을 입증하기 위해.

제안 방법

• 선형 탐색 없이 목적 함수의 충분한 감소를 보장하는 분석적 단계 크기 선택을 사용하는 감쇠된 프록시멀 뉴턴 기반 절차를 사용한다.
• 로그우도에서 로그行列식 항의 자기-일관성 조건을 활용하여, 반복값이 양의 정부호 행렬 콘에 머무르도록 보장하는 폐쇄형 단계 크기를 유도한다.
• 뉴턴 하위문제의 이중 형태를 도입하여, 명시적인 행렬 역행렬 없이 헤시안-벡터 곱을 통해 기울기 계산을 수행한다.
• 헤시안-벡터 곱을 명시적인 역행렬 또는 코시 분해 없이 행렬 곱셈만을 사용하여 효율적으로 계산한다.
• 이미 제곱수수렴 영역에 진입한 후에는 전체 프록시멀-뉴턴 단계로 전환되며, 이 영역는 명시적으로 계산 가능하다.
• 이 프레임워크는 그래프 학습에 적용되어 코시 분해와 행렬 역행렬 연산을 모두 피하는 DPNGS(Damped Proximal Newton for Graph Selection)로 구현된다.

실험 결과

연구 질문

• RQ1 백트래킹 선 탐색이나 신뢰 영역 전역화 전략에 의존하지 않고도 복합 최소화를 위한 프록시멀 뉴턴 방법을 설계할 수 있는가?
• RQ2 희소 정밀도 행렬 추정에서 코시 분해와 행렬 역행렬 계산을 피하면서도 빠른 수렴을 유지할 수 있는가?
• RQ3 추가적인 가정 없이도 전역 수렴과 최적의 진전을 보장하는 분석적 단계 크기 선택 절차를 유도할 수 있는가?
• RQ4 뉴턴 하위문제의 이중 형태는 그래프 학습에서 행렬 역행렬 없이 최적화를 가능하게 하는가?
• RQ5 제안된 프레임워크는 QUIC와 같은 최첨단 솔버와 경쟁 가능한 성능을 달성하면서도 계산 비용을 줄일 수 있는가?

주요 결과

• DPNGS(10)는 특히 정규화 파rameter ρ가 작을 때 QUIC보다 훨씬 짧은 시간에 거의 최적의 해를 도달한다.
• 알고리즘은 코시 분해와 행렬 역행렬 계산을 완전히 피함으로써 반복당 복잡도를 행렬 곱셈만으로 줄였다.
• Leukemia 데이터셋(p=1255)의 경우, DPNGS(10)는 65회의 반복과 82.5초가 소요되었고, QUIC는 18회의 반복과 69.8초가 소요되었지만, 반복당 계산 비용은 크게 감소했다.
• DPNGS(5)와 DPNGS(10)는 QUIC의 초기 반복에서 필요한 코시 분해 횟수를 줄이는 고품질의 초기화를 제공한다.
• 분석적 단계 크기 선택은 목적 함수의 보장된 감소를 보장하며, 선 탐색이나 신뢰 영역 방법의 필요성을 제거한다.
• 모든 테스트 데이터셋(Arabidopsis, Leukemia, Hereditary)에서 DPNGS(10)는 DPNGS(5)를 항상 능가했으며, 계산 오버헤드를 줄이며 솔루션 품질에서 QUIC와 동등하거나 슈퍼어리어를 기록했다.