[論文レビュー] Robust Block Coordinate Descent

Kimon Fountoulakis, Rachael Tappenden|arXiv (Cornell University)|Jul 28, 2014

Sparse and Compressive Sensing Techniques参考文献 28被引用数 6

ひとこと要約

本稿では、悪条件または高非可分な問題における収束を改善するために、近似的な部分的2次情報（曲率）を組み込んだランダム化ブロック座標降下法であるRobust Coordinate Descent（RCD）を提案する。曲率データを用いて二次モデルを構築し、バックトラッキングラインサーチを用いた不正確な部分問題解法を採用することで、グローバル収束を保証するとともに、局所的収束を高速化し、$β$-正則化ロジスティック回帰のような大規模問題において、1次手法を上回る性能を発揮する。

ABSTRACT

In this paper we present a novel randomized block coordinate descent method for the minimization of a convex composite objective function. The method uses (approximate) partial second-order (curvature) information, so that the algorithm performance is more robust when applied to highly nonseparable or ill conditioned problems. We call the method Robust Coordinate Descent (RCD). At each iteration of RCD, a block of coordinates is sampled randomly, a quadratic model is formed about that block and the model is minimized approximately/inexactly to determine the search direction. An inexpensive line search is then employed to ensure a monotonic decrease in the objective function and acceptance of large step sizes. We prove global convergence of the RCD algorithm, and we also present several results on the local convergence of RCD for strongly convex functions. Finally, we present numerical results on large-scale problems to demonstrate the practical performance of the method.

研究の動機と目的

• 悪条件または高非可分な問題において、1次ランダム化座標降下法の性能が低い問題に対処する。
• 複雑なスパース問題において、1次手法が曲率を捉えられず進捗が妨げられるという限界を克服する。
• 近似的な2次情報統合によるブロック座標降下法を開発し、ロバスト性と収束速度を向上させる。
• 部分問題の不正確な解法とラインサーチを用いることで、1反復あたりの計算コストを抑えつつグローバル収束を保証する。
• 大規模問題、特に$β$-正則化ロジスティック回帰や圧縮センシング応用において、実用的優位性を示す。

提案手法

• 各反復で、更新する座標のブロックをランダムに選択する。
• 選択されたブロックに対して、近似的な2次（ヘッセ）情報に基づいて二次モデルを構築する。
• 部分問題を近似的に解き、先行研究にインspiredされた終了基準を用いる。
• 目的関数の単調減少を保証するため、安価なバックトラッキングラインサーチを適用し、大きなステップサイズを受理する。
• ブロックサイズとヘッセの精度に応じて、1次から2次行動まで範囲を広げられるブロック単位の更新戦略を採用する。
• ラインサーチと曲率に配慮した降下方向を用いて、部分問題解法の不正確性を統合し、グローバル収束の保証を得る。

実験結果

リサーチクエスチョン

• RQ1 ブロック座標降下法に近似的な2次情報を取り入れることで、悪条件または非可分な問題における収束が改善されるか？
• RQ2 曲率情報の使用が、1次手法と比較して反復複雑度および全体的な実行時間に与える影響は何か？
• RQ3 不正確な部分問題解法とバックトラッキングラインサーチが、収束保証と実用的性能に与える影響は何か？
• RQ4 曲率の活用により、収束を高速化しつつ、1反復あたりのコストを低く保てるか？
• RQ5 実世界の大規模問題において、RCDは既存のランダム化座標降下法と比較して、収束速度とロバスト性の面で優れているか？

主な発見

• RCDは標準的な仮定の下でグローバル収束を達成し、期待値として二次的または超線形の局所的収束を示した。
• webspamデータセットにおいて、RCD v.2は1時間以内に他のすべての手法よりも高い精度で問題を解き、1反復コストが高かったにもかかわらず優れた性能を発揮した。
• webspamおよびkdd2010データセットの両方において、RCDバージョンはUCDCの変種よりも反復回数が少なく、RCD v.1が全体で最も速かった。
• バックトラッキングラインサーチにより、反復の大部分でユニットステップサイズが受理された。これは、曲率情報が効果的な降下方向を提供したことを示している。
• RCD v.1（対角ヘッセ近似のみを用いる）は、1反復あたりの目的関数の減少量においてRCD v.2を上回り、対角曲率情報だけで顕著な改善が達成可能であることを示唆している。
• 特に悪条件または非可分な設定において、標準的な座標降下法が苦戦する困難な問題に対しても、RCDはロバスト性を示した。