[論文レビュー] New Optimisation Methods for Machine Learning

Aaron Defazio|arXiv (Cornell University)|Oct 9, 2015

Machine Learning and Algorithms参考文献 2被引用数 3

ひとこと要約

本学位論文は、有限和構造およびグラフ構造をもつ目的関数を扱う機械学習問題のための、FinitoおよびSAGAという2つの新しい最適化アルゴリズムを紹介する。Finitoは、中点更新ルールを用いた分散拡張手法により、強い凸性をもつ問題に対して線形収束率を達成する。一方、SAGAは、非強い凸性および非微分可能正則化項をもつ問題に対しても理論的収束性を保証する汎用的で新しい確率的最適化手法であり、理論的および実用的両面で先行手法を上回る性能を示す。

ABSTRACT

A thesis submitted for the degree of Doctor of Philosophy of The Australian National University. In this work we introduce several new optimisation methods for problems in machine learning. Our algorithms broadly fall into two categories: optimisation of finite sums and of graph structured objectives. The finite sum problem is simply the minimisation of objective functions that are naturally expressed as a summation over a large number of terms, where each term has a similar or identical weight. Such objectives most often appear in machine learning in the empirical risk minimisation framework in the non-online learning setting. The second category, that of graph structured objectives, consists of objectives that result from applying maximum likelihood to Markov random field models. Unlike the finite sum case, all the non-linearity is contained within a partition function term, which does not readily decompose into a summation. For the finite sum problem, we introduce the Finito and SAGA algorithms, as well as variants of each. For graph-structured problems, we take three complementary approaches. We look at learning the parameters for a fixed structure, learning the structure independently, and learning both simultaneously. Specifically, for the combined approach, we introduce a new method for encouraging graph structures with the "scale-free" property. For the structure learning problem, we establish SHORTCUT, a O(n^{2.5}) expected time approximate structure learning method for Gaussian graphical models. For problems where the structure is known but the parameters unknown, we introduce an approximate maximum likelihood learning algorithm that is capable of learning a useful subclass of Gaussian graphical models.

研究の動機と目的

• 有限和構造をもつ大規模な機械学習問題を効率的に解く新しい最適化手法の開発。
• 既存手法が非強い凸性および非微分可能正則化項をもつ問題を扱う際の限界を克服すること。
• ガウスグラフィカルモデルにおけるパラメータおよび構造の学習のためのスケーラブルなアルゴリズムの設計。
• 機械学習分野における新しいクラスの最適化問題に対して、収束性が保証された統一的理論的枠組みの構築。

提案手法

• Finitoを提案。中点更新ルールを用いたバッチ勾配法の双対版であり、分散低減手法を用いて強い凸性をもつ有限和問題に対して線形収束を達成する。
• SAGAを導入。非強い凸性および非微分可能正則化項を扱える、シンプルで汎用的な理論的枠組みを備えた新しい確率的最適化手法。追加の正則化を必要とせず、収束性が保証される。
• Finitoの原双対版としてProx-Finitoを開発。中点に基づく更新スキームにより、非滑らか正則化項をもつ問題に対する効率的最適化を可能にする。
• ガウスグラフィカルモデルにおける構造学習の過程でスケールフリーなグラフ構造を促進する新しい手法を導入。
• Gaussian graphical modelの構造学習のための、期待時間計算量O(n^2.5)の近似アルゴリズムであるSHORTCUTを提案。
• 既知の構造をもつガウスグラフィカルモデルに対する近似最尤推定アルゴリズムを開発。これにより、効率的なパラメータ推定が可能になる。

実験結果

リサーチクエスチョン

• RQ1 強い凸性をもつ有限和問題に対して、より高速な収束を達成する新しい最適化手法を設計できるか？
• RQ2 非強い凸性および非微分可能正則化項をもつ問題を、収束性が保証される汎用的最適化手法として開発できるか？
• RQ3 ガウスグラフィカルモデルにおける構造とパラメータの両方の学習に効果的なアルゴリズムを構築できるか？
• RQ4 学習されたグラフ構造においてスケールフリー性を効果的に促進できるか？
• RQ5 ガウスグラフィカルモデルの構造学習を、2乗未満の時間計算量で行えるか？

主な発見

• Finitoは、強い凸性をもつ有限和問題に対して線形収束率を達成し、5つのベンチマークデータセットにおいて最先端の実験的性能を示した。
• SAGAは、非微分可能正則化項をもつ非強い凸有限和問題に対して、追加の正則化を必要とせず、初めて収束性が保証される手法を提供した。
• SAGAは、より柔軟で頑健な更新メカニズムのおかげで、Finitoよりもスパース問題において優れた性能を示した。
• SHORTCUTは、ガウスグラフィカルモデルの構造学習において、期待時間計算量O(n^2.5)を達成し、スケーラビリティを著しく向上させた。
• 提案された近似最尤推定アルゴリズムにより、ガウスグラフィカルモデルの有用な部分クラスにおける効率的なパラメータ学習が可能になった。
• 理論的分析により、すべての提案手法の収束性が確認され、FinitoおよびProx-Finitoに対してきつい収束バウンドが確立された。