[論文レビュー] Finito: A Faster, Permutable Incremental Gradient Method for Big Data Problems

Aaron Defazio, Tibério S. Caetano+1 more|arXiv (Cornell University)|Jul 10, 2014

Stochastic Gradient Optimization Techniques参考文献 4被引用数 101

ひとこと要約

Finitoは、多くの項を持つ問題において、既存の手法よりも理論的に4倍速い収束速度を達成する、大規模な有限和を最小化するための新しい段階的勾配法を提案する。無作為抽出しないサンプリング戦略を活用することで、実用的性能もさらに向上し、実験的評価において最先端の結果を示している。

ABSTRACT

Recent advances in optimization theory have shown that smooth strongly convex finite sums can be minimized faster than by treating them as a black box "batch" problem. In this work we introduce a new method in this class with a theoretical convergence rate four times faster than ex-isting methods, for sums with sufficiently many terms. This method is also amendable to a sampling without replacement scheme that in practice gives further speed-ups. We give empirical results showing state of the art performance.

研究の動機と目的

• ビッグデータ応用で一般的な大規模有限和問題のためのより高速な最適化手法を開発すること。
• 問題の構造を活用することで、従来のバッチ手法を上回る収束速度を実現すること。
• より優れた実用的性能を実現するため、置換なしサンプリングに適した手法を設計すること。
• 既存の段階的勾配法と比較して理論的および実験的優位性を達成すること。

提案手法

• Finitoは、滑らかで強く凸な有限和を対象とした新しい段階的勾配アルゴリズムを導入する。
• 標準的な仮定の下で、既存の手法よりも理論的収束速度が4倍速い。
• 無作為抽出しないサンプリング戦略をサポートしており、実用的収束速度を向上させる。
• バリアンス低減アプローチを用いることで、段階的にデータを処理しながらも高速な収束を維持する。
• アルゴリズムは置換可能に設計されており、より良い性能を得るためのデータの効率的な再順序付けを可能にする。
• 有限和をブラックボックスのバッチ問題ではなく、構造的問題として扱う。

実験結果

リサーチクエスチョン

• RQ1 大規模有限和問題において、著しく速い収束を達成できる新しい段階的勾配法を設計できるか？
• RQ2 実際の段階的勾配法において、無作為抽出しないサンプリングは収束速度にどのように影響するか？
• RQ3 収束速度の理論的改善が、実用的性能の向上にどのように反映されるか？
• RQ4 滑らかで強く凸な有限和の収束速度の理論的限界は何か？
• RQ5 Finitoは実験的ベンチマークにおいて、最先端の手法と比較してどうなるか？

主な発見

• 十分に多くの項を持つ問題において、Finitoは既存の段階的勾配法よりも理論的収束速度が4倍速い。
• Finitoは、ビッグデータ問題において最先端の実験的性能を示している。
• 無作為抽出しないサンプリングは実際の速度向上をもたらし、理論的限界を超えた収束を向上させる。
• 有限和の構造を活用することで、バッチ問題として扱うのではなく、高速な収束を維持する。
• 実験的結果から、Finitoが速度および収束速度の両面で既存の手法を上回ることが確認された。