[論文レビュー] On the Equivalence between Herding and Conditional Gradient Algorithms

Francis Bach, Simon Lacoste-Julien+1 more|arXiv (Cornell University)|Mar 20, 2012

Stochastic Gradient Optimization Techniques参考文献 15被引用数 67

ひとこと要約

本稿では、ハーディング法が再生核ヒルベルト空間における二次的モーメント不一致を最小化するための条件付き勾配（フランク＝ウォルフ）法と数学的に同等であることを確立している。この同等性により、ラインサーチやアクティブセット法などの高度な変種を用いたより高速な収束が可能になるが、実験ではこれらの手法が平均推定ではハーディングを上回るが、元のハーディングほど最大エントロピー分布をうまく近似できないことが判明しており、効率性とエントロピー保存性の間にはトレードオフがあると考えられる。

ABSTRACT

We show that the herding procedure of Welling (2009) takes exactly the form of a standard convex optimization algorithm--namely a conditional gradient algorithm minimizing a quadratic moment discrepancy. This link enables us to invoke convergence results from convex optimization and to consider faster alternatives for the task of approximating integrals in a reproducing kernel Hilbert space. We study the behavior of the different variants through numerical simulations. The experiments indicate that while we can improve over herding on the task of approximating integrals, the original herding algorithm tends to approach more often the maximum entropy distribution, shedding more light on the learning bias behind herding.

研究の動機と目的

• ハーディング法の理論的基盤を、凸最適化に結びつけること。
• より高速な条件付き勾配変種をハーディングフレームワークに適応させることで、平均推定の性能を向上させること。
• より速い収束がモーメント推定において、最大エントロピー分布の近似精度に相関するかどうかを調査すること。
• ハーディングの学習バイアスを分析すること、特に特定の条件下で最大エントロピーに近づく傾向を特に注目すること。

提案手法

• ハーディング法を、経験的モーメントとターゲット平均ベクトルの間の二乗誤差を最小化する条件付き勾配法として再解釈する。
• 現在の反復点を、特徴空間における線形最大化によって更新する：$ x_{t+1} = \arg\max_{x\in\mathcal{X}} \langle w_t, \Phi(x) \rangle $。
• 収束速度を向上させるために、ステップサイズを適応的に選択するラインサーチ変種を導入する。
• マージナルポリトープ内のアクティブな制約に焦点を当てるアクティブセット変種を提案し、収束を加速する。
• 理論的収束レートを導出する。特に、有限次元設定ではラインサーチ変種が線形収束を達成することを示す。
• 数値実験を通じて、標準的ハーディング、ラインサーチ、アクティブセット変種を、平均推定および最大エントロピー近似のタスクで比較する。

実験結果

リサーチクエスチョン

• RQ1 ハーディング法は既知の凸最適化アルゴリズムと同等であるか？ もしそうならば、どのアルゴリズムか？
• RQ2 条件付き勾配法のより高速な変種は、標準的ハーディングと比較してモーメント推定における収束速度を向上させることができるか？
• RQ3 モーメント推定における収束の向上は、最大エントロピー分布の近似精度の向上に結びつくか？
• RQ4 どのような条件下でハーディング法は最大エントロピー分布に収束するか？
• RQ5 ハーディングベースのサンプリングにおいて、収束速度とエントロピー保存性の関係は何か？

主な発見

• ハーディング法は、二次的モーメント不一致を最小化する条件付き勾配法と正式に同等であり、最適化の新たな解釈を提供する。
• ラインサーチ変種は、有限次元設定において線形収束率を達成し、標準的ハーディングの $ O(1/t) $ のレートを上回る。
• アクティブセット変種も収束速度の向上を実現するが、ラインサーチバージョンほど明確な理論的保証はない。
• より速い収束にもかかわらず、ラインサーチおよびアクティブセット変種は、標準的ハーディングほど最大エントロピー分布をうまく近似できない。
• 実験では、標準的ハーディングがほとんどすべてのランダムな平均ベクトルに対して最大エントロピー分布に収束することが示された。特に、平均比が無理数である場合に顕著である。
• これに対して、より高速な変種は、スパースなサポートを示す低エントロピー解に収束する傾向があり、推定速度とエントロピー保存性の間にはトレードオフがあると考えられる。