[論文レビュー] Non-Uniform Stochastic Average Gradient Method for Training Conditional Random Fields

Mark Schmidt, Reza Babanezhad+4 more|arXiv (Cornell University)|Apr 16, 2015

Stochastic Gradient Optimization Techniques参考文献 31被引用数 26

ひとこと要約

本稿では、構造的勾配計算を活用してメモリ使用量を削減するとともに、非一様サンプリング戦略を導入して収束を加速する、条件付きランダムフィールド（CRF）のトレーニングのための非一様確率的平均勾配（SAG）手法を提案する。この手法は、ステップサイズのチューニングを必要とせず、訓練目的関数の低下が著しく速く、既存の手法に比べて通常1桁以上速く、最適にチューニングされた確率的勾配法と同等またはそれ以上のテスト精度を達成する。

ABSTRACT

We apply stochastic average gradient (SAG) algorithms for training conditional random fields (CRFs). We describe a practical implementation that uses structure in the CRF gradient to reduce the memory requirement of this linearly-convergent stochastic gradient method, propose a non-uniform sampling scheme that substantially improves practical performance, and analyze the rate of convergence of the SAGA variant under non-uniform sampling. Our experimental results reveal that our method often significantly outperforms existing methods in terms of the training objective, and performs as well or better than optimally-tuned stochastic gradient methods in terms of test error.

研究の動機と目的

• CRFのトレーニングにかかる高コストな計算を軽減すること。CRFは自然言語処理（NLP）で広く使われているが、勾配評価が高価であるため、遅延が生じる。
• SAGアルゴリズムのメモリオーバーヘッドを削減すること。これは、すべてのトレーニング例について勾配を保存する必要があるため、大規模CRFでは非現実的である。
• 情報量の多いトレーニング例を適応的に優先する非一様サンプリング戦略を用いて、実用的な収束速度を向上させること。
• 非一様サンプリングを用いたSAGAの変種が、一般のサンプリングスキームのもとで線形収束を示し、収束速度が向上することを示すこと。
• 実験的に、本手法が、ステップサイズのチューニングなしで、決定的および確率的最適化ベースラインをトレーニング目的関数およびテスト誤差の両面で上回ることを示すこと。

提案手法

• CRFの勾配構造を活用することで、SAGアルゴリズムをCRFに適応させ、1例あたりのメモリ使用量をO(n)からO(1)に削減し、スケーラブルなトレーニングを可能にする。
• 勾配への寄与度を推定し、その基準でデータポイントを優先する非一様サンプリング（NUS）戦略を提案し、収束速度を向上させる。
• SAGAの変種を用い、過去の勾配の累積平均を保持することで、分散を低減した効率的な更新を実現する。
• 適応的ステップサイズ手順と、目的関数値の減少に基づく停止基準を採用し、手動によるハイパーパramータチューニングの必要性を排除する。
• CRFの条件付き構造を活かした、メモリ効率の良い勾配計算戦略を実装し、すべてのトレーニング例について完全な勾配を保存する必要を回避する。
• 非一様サンプリングを用いたSAGAの変種が、一般のサンプリング分布のもとで線形収束することを理論的に分析し、最適なサンプリング戦略では収束速度がさらに向上することを示す。

実験結果

リサーチクエスチョン

• RQ1 CRFの高いメモリおよび計算コストを考慮しても、SAGアルゴリズムを効果的にCRFのトレーニングに適応できるか？
• RQ2 トレーニング例の非一様サンプリングが、CRFトレーニングにおけるSAGの収束速度および実用的性能に与える影響は何か？
• RQ3 CRF勾配計算の構造を活用することで、SAGのメモリオーバーヘッドをCRFで削減できるか？
• RQ4 提案手法は、既存の決定的および確率的最適化手法と比較して、トレーニング目的関数の観点からより速い収束を達成できるか？
• RQ5 手動によるステップサイズチューニングなしで、最適にチューニングされた確率的勾配法のテスト精度に並ぶか、それを上回ることができるか？

主な発見

• 提案手法であるSAG-NUSは、POSタギング、NER、パーサーなどのベンチマークNLPタスクにおいて、競合手法と比較して訓練目的関数の低下が1桁以上速い。
• ステップサイズのチューニングを必要としないにもかかわらず、最適にチューニングされた確率的勾配法と同等またはそれ以上のテスト誤差性能を達成する。
• 非一様サンプリングは収束速度を顕著に向上させ、NUSを用いたSAGA変種は一様サンプリングよりも速い収束速度を達成する。
• CRF勾配の構造を活用することで、メモリ使用量が著しく削減され、SAGを用いた大規模CRFトレーニングが可能になる。
• 理論的分析により、非一様サンプリング下でのSAGA変種の線形収束が確認され、最適なサンプリング戦略では収束速度がさらに向上することが示された。
• 実行時間実験では、L-BFGSや他の確率的手法と比較して、単位時間あたりの目的関数低下性能が優れており、適応的ステップサイズによるわずかなオーバーヘッドを除けば、優れた性能を示した。