[論文レビュー] Coordinate Descent with Bandit Sampling

Farnood Salehi, Patrick Thiran+1 more|arXiv (Cornell University)|Dec 8, 2017

Advanced Bandit Algorithms Research被引用数 7

ひとこと要約

本稿では、コスト関数の低下の下界（限界低下）を推定することで、最も利益の大きい座標を適応的に選ぶバンドイットベースの座標選択法を提案する。マルチアームド・バンディットフレームワークを用い、すべての下界を計算せずに、どの座標が最大の改善をもたらすかを学習する。この手法は、計算コストを d 分の1に削減しながらも、最適手法に近い収束速度を達成する。

ABSTRACT

Coordinate descent methods usually minimize a cost function by updating a random decision variable (corresponding to one coordinate) at a time. Ideally, we would update the decision variable that yields the largest decrease in the cost function. However, finding this coordinate would require checking all of them, which would effectively negate the improvement in computational tractability that coordinate descent is intended to afford. To address this, we propose a new adaptive method for selecting a coordinate. First, we find a lower bound on the amount the cost function decreases when a coordinate is updated. We then use a multi-armed bandit algorithm to learn which coordinates result in the largest lower bound by interleaving this learning with conventional coordinate descent updates except that the coordinate is selected proportionately to the expected decrease. We show that our approach improves the convergence of coordinate descent methods both theoretically and experimentally.

研究の動機と目的

• コスト関数の低下が最大となる座標を適応的に選ぶことで、座標降下法の収束速度を向上させること。
• 各ステップですべての座標の潜在的な低下を評価することが計算的に非現実的であるという問題に対処すること。
• 計算の tractability を維持しながら、均一なサンプリングや最先端の適応的サンプリング戦略を上回る、軽量でスケーラブルな手法を開発すること。
• 理論的および実験的に、限界低下のバンドイットベースの学習が、計算オーバーヘッドを低減しつつほぼ最適な収束を達成することを検証すること。

提案手法

• 一般の更新ルール H のクラスを用いて、単一の座標を更新する際のコスト関数低下の下界（限界低下）を導出する。
• マルチアームド・バンディットアルゴリズムを用い、各ステップで選択された座標からのフィードバックのみを観測することで、どの座標が最大の限界低下をもたらすかを学習する。
• バンドイット学習プロセスを標準的な座標降下更新と統合し、推定された限界低下に比例して座標を選択する。
• 限界低下の推定値を保持し、選択された座標からのフィードバックのみを用いて更新する、バンドイットベースのアルゴリズム B_max_r を提案する。
• 探索と活用のバランスをとるために、パラメータ ε と E を用いたパラメータ化された探索戦略を採用する。
• 本手法は一般性を持ち、ラッソ、ロジスティック回帰、リッジ回帰を含むさまざまな最適化問題に、主形式および双対形式の両方で適用可能である。

実験結果

リサーチクエスチョン

• RQ1 バンドイットベースのアプローチは、すべての低下を明示的に計算せずに、座標降下法においてコスト関数低下が最大となる座標を選択する学習が可能か？
• RQ2 提案手法の収束速度は、最適な座標選択（max_r）と既存の適応的手法と比べてどうか？
• RQ3 探索パラメータ ε と E が、バンドイットベース手法の収束速度と計算コストに与える影響は何か？
• RQ4 座標ごとの低下が反復ごとに著しく変動する場合でも、本手法は速やかな収束を維持できるか？

主な発見

• 提案手法 B_max_r は、すべての限界低下を評価する最適な max_r 手法と同等の速さで収束するが、計算コストを d 分の1に削減する。
• 実験では、B_max_r は均一サンプリング、gap_per_epoch、および最先端の適応的手法（例：ada-gap）をすべて上回り、ラッソ、ロジスティック回帰、リッジ回帰の全問題で優れた性能を示す。
• a9a データセットでは、ε=0.5 かつ E=2d/5 の設定で、他の設定よりも少ない反復回数で log-suboptimality gap が -5 に達し、E=2d/5 を超えると1エポックあたりのクロック時間はわずかに増加するにとどまる。
• 本手法は、座標ごとの限界低下の分散が大きい場合にもロバストであり、反復ごとに双対ギャップが著しく変動しても、効果的に適応する。
• B_max_r は均一サンプリングや gap_per_epoch よりも速やかな収束を達成し、少ない反復回数で、Approx や ada-gap と同等またはそれ以上の性能を発揮し、より低いサブ最適性ギャップに到達する。