[論文レビュー] Learning Fast-Mixing Models for Structured Prediction

Jacob Steinhardt, Percy Liang|arXiv (Cornell University)|Feb 24, 2015

Machine Learning and Algorithms参考文献 34被引用数 4

ひとこと要約

本論文は、強いドーブリン・マルコフ連鎖に基づく構造予測モデルの新規ファミリーを提案する。この手法は、複雑な遷移核と単純で取り扱いやすい提案分布の制御された混合により、速やかな混合時間（fast mixing times）を保証する。データの尤度を定常分布下で最大化するようにパラメータを学習することで、収束が速くなり、精度が向上する。実験では、ジェスチャーから単語への推論で文字精度が3.6%絶対値上昇し、DNF論理式の合成で50倍の高速化を達成した。また、学習目的関数に計算制約を明示的に組み込んでいる。

ABSTRACT

Markov Chain Monte Carlo (MCMC) algorithms are often used for approximate inference inside learning, but their slow mixing can be difficult to diagnose and the approximations can seriously degrade learning. To alleviate these issues, we define a new model family using strong Doeblin Markov chains, whose mixing times can be precisely controlled by a parameter. We also develop an algorithm to learn such models, which involves maximizing the data likelihood under the induced stationary distribution of these chains. We show empirical improvements on two challenging inference tasks.

研究の動機と目的

• MCMCに基づく構造予測における混合が遅い問題に取り組み、収束診断の困難さや学習性能の低下を解消すること。
• ハイパーパrameterによって混合時間が明示的に制御可能なモデルファミリーを構築し、表現力に損なわれることなく計算の取り扱いやすさを確保すること。
• これらの高速混合連鎖の定常分布下でデータ尤度を最大化する学習アルゴリズムを開発し、計算コストを目的関数に組み込むこと。
• 段階的強いドーブリン連鎖を用いた一般化により、単純なモデルから複雑なモデルへの滑らかな移行を可能とし、段階的改善を実現すること。

提案手法

• 確率 $1 - \epsilon$ で複雑なモデル $A_\theta$ を介して遷移し、確率 $\epsilon$ で単純で取り扱いやすい提案分布 $u_\theta$ から再サンプリングする混合マルコフ連鎖を構築する。
• 強いドーブリン性を用いて、混合時間が $O(1/\epsilon)$ 以内に抑えられることを保証し、計算コストを明確に制御可能にする。
• 定常分布下での対数尤度の確率的勾配を、期待時間 $O(1/\epsilon)$ で導出可能とし、エンドツーエンドの学習を可能にする。
• 補助段階変数 $z$ を用いて段階的強いドーブリン連鎖を導入し、複数の基本連鎖を通じて段階的な遷移を可能とし、段階的改善を実現する。
• 定常分布 $\tilde{A}_\theta$ 下での尤度を最大化するように $\theta$ を学習することで、構造予測タスクにこの手法を適用する。
• 高分散勾配に対処するため、適応的最適化（例：AdaGrad）を用いる。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパrameter 1つで制御可能な、混合時間が保証されかつ制御可能なモデルファミリーを構築できるか？
• RQ2 パrameter $\epsilon$ を変化させた際、強いドーブリン連鎖の定常分布がその基本連鎖の定常分布とどのように関係するか？
• RQ3 近似的な推論が行われる中でも、定常分布下での尤度を最大化することで、このようなモデルを効果的に学習できるか？
• RQ4 強いドーブリン連鎖の段階的一般化は、局所的信号が弱い複雑な構造予測タスクにおいて性能を向上させるか？

主な発見

• ジェスチャーから単語への推論タスクでは、ギブスサンプリングに比べて3.6%の文字精度の絶対値上昇を達成したが、サンプル数は5分の1にまで削減された。
• プログラム検証を目的としたDNF論理式推論では、段階的強いドーブリン連鎖が、単純なメトロポリス・ハスティングス法に比べ50倍の高速化と、ランダムリスタート法に比べ30%の精度向上を達成した。
• KLダイバージェンスを用いて測定したところ、$\epsilon \to 0$ のとき、$\tilde{A}_\theta$ の定常分布は $A_\theta$ の定常分布に単調に収束する。
• ${1}/{\epsilon}$ が $A_\theta$ の混合時間よりも著しく大きい場合、マハラノビス距離で測ったとき、$A_\theta$ と $\tilde{A}_\theta$ の定常分布は互いに近くなることが示され、良好な近似であることが裏付けられた。
• 学習アルゴリズムは、期待時間 $O(1/\epsilon)$ で対数尤度の確率的勾配を計算可能であり、目的関数の計算的実行可能性が保証された。
• 段階的構成により、単純なモデルから複雑なモデルへの滑らかな移行が可能となり、局所的ポテンシャルが弱いタスクにおいて性能が向上した。