[논문 리뷰] New Optimisation Methods for Machine Learning

Aaron Defazio|arXiv (Cornell University)|2015. 10. 09.

Machine Learning and Algorithms참고 문헌 2인용 수 3

한 줄 요약

이 학위논문은 유한합 구조와 그래프 구조를 가진 최적화 문제를 위한 Finito와 SAGA라는 두 가지 새로운 최적화 알고리즘을 소개한다. Finito는 강凸 문제에 대해 증명된 선형 수렴 속도를 보이며 빠른 수렴을 달성한다. SAGA는 비강凸 및 비가능한 정규화 문제에 대해 증명된 수렴성을 갖는 일반 목적의 방법을 제공하며, 이는 이론적·실제적으로 이전 방법들을 능가한다.

ABSTRACT

A thesis submitted for the degree of Doctor of Philosophy of The Australian National University. In this work we introduce several new optimisation methods for problems in machine learning. Our algorithms broadly fall into two categories: optimisation of finite sums and of graph structured objectives. The finite sum problem is simply the minimisation of objective functions that are naturally expressed as a summation over a large number of terms, where each term has a similar or identical weight. Such objectives most often appear in machine learning in the empirical risk minimisation framework in the non-online learning setting. The second category, that of graph structured objectives, consists of objectives that result from applying maximum likelihood to Markov random field models. Unlike the finite sum case, all the non-linearity is contained within a partition function term, which does not readily decompose into a summation. For the finite sum problem, we introduce the Finito and SAGA algorithms, as well as variants of each. For graph-structured problems, we take three complementary approaches. We look at learning the parameters for a fixed structure, learning the structure independently, and learning both simultaneously. Specifically, for the combined approach, we introduce a new method for encouraging graph structures with the "scale-free" property. For the structure learning problem, we establish SHORTCUT, a O(n^{2.5}) expected time approximate structure learning method for Gaussian graphical models. For problems where the structure is known but the parameters unknown, we introduce an approximate maximum likelihood learning algorithm that is capable of learning a useful subclass of Gaussian graphical models.

연구 동기 및 목표

• 유한합 구조를 가진 대규모 기계학습 문제를 효율적으로 해결할 수 있는 새로운 최적화 방법을 개발하기.
• 기존 방법이 비강凸 및 비가능한 정규화 문제를 다루는 데 한계를 보이는 문제를 해결하기.
• 가우시안 그래픽 모델의 파라미터와 구조 학습을 위한 확장 가능한 알고리즘 설계하기.
• 기계학습에서 새로운 최적화 문제 클래스에 대해 증명된 수렴성을 갖는 통합 이론적 프레임워크 제공하기.

제안 방법

• 강凸 유한합 문제에 대해 선형 수렴 속도를 달성하는 변동성 감소 기반의 중간점 갱신 규칙을 사용하는 이중적 증분 경사 방법인 Finito를 제안한다.
• 비강凸 및 비가능한 정규화를 지원하는 간단하고 일반적인 이론을 갖춘 새로운 확률적 최적화 방법인 SAGA를 도입한다. 추가 정규화 없이도 가능하다.
• 비미분 정규화를 효율적으로 최적화할 수 있도록 중간점 기반 갱신 방식을 사용하는 Finito의 원-이중 변형인 Prox-Finito를 개발한다.
• 가우시안 그래픽 모델의 구조 학습 과정에서 척도 자유 그래프 구조를 장려하기 위한 새로운 방법을 제안한다.
• 가우시안 그래픽 모델의 구조 학습을 위한 약간의 시간 복잡도 O(n^2.5)를 갖는 근사 알고리즘인 SHORTCUT을 제안한다.
• 구조가 알려진 가우시안 그래픽 모델을 위한 근사 최대우도 학습 알고리즘을 개발하여 효율적인 파라미터 추정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 강凸성을 가진 유한합 문제에 대해 더 빠른 수렴을 달성할 수 있는 새로운 최적화 방법을 설계할 수 있는가?
• RQ2 비강凸 및 비가능한 정규화 문제를 다룰 수 있고 증명된 수렴성을 갖는 일반 목적의 최적화 방법을 개발할 수 있는가?
• RQ3 가우시안 그래픽 모델에서 구조와 파라미터를 동시에 학습할 수 있는 효과적인 알고리즘을 구성할 수 있는가?
• RQ4 학습된 그래프 구조에서 척도 자유 성질을 효과적으로 장려할 수 있는가?
• RQ5 가우시안 그래픽 모델에 대해 구조 학습을 이차 시간 이하로 수행할 수 있는가?

주요 결과

• Finito는 강凸 유한합 문제에 대해 선형 수렴 속도를 달성하며, 다섯 개인 벤치마크 데이터셋에서 최신 기술 수준의 경험적 성능을 보였다.
• SAGA는 추가 정규화 없이도 비강凸 유한합 문제에 대해 비가능한 정규화를 갖는 첫 번째 증명된 수렴성 보장 방법을 제공한다.
• SAGA는 더 유연하고 견고한 갱신 메커니즘 덕분에 Finito보다 희박 문제에서 뛰어난 성능을 보였다.
• SHORTCUT는 가우시안 그래픽 모델의 구조 학습에 대해 O(n^2.5)의 기대 시간 복잡도를 달성하여 확장성에서 크게 향상되었다.
• 제안된 근사 최대우도 알고리즘은 유용한 가우시안 그래픽 모델 하위 클래스에 대해 효율적인 파라미터 학습을 가능하게 했다.
• 이론적 분석을 통해 모든 제안된 방법의 수렴성이 확인되었으며, Finito와 Prox-Finito에 대해 날카로운 경계가 확립되었다.