[論文レビュー] A New Unbiased and Efficient Class of LSH-Based Samplers and Estimators for Partition Function Computation in Log-Linear Models

Ryan Spring, Anshumali Shrivastava|arXiv (Cornell University)|Mar 15, 2017

Machine Learning and Algorithms参考文献 18被引用数 24

ひとこと要約

本稿では、対数線形モデルにおける分割関数計算のための、新しいLSHベースのサンプリングおよび不偏推定フレームワークを提案する。局所性に敏感なハッシュ（LSH）を活用して、ほぼ定数時間で相関のある未正規化サンプルを生成することで、部分線形時間計算量を達成し、標準的な重要度サンプリングやGumbel-Maxの変種と比較して、精度と速度の両面で顕著に優れている。これにより、元の計算量の1–2％にまで削減した計算コストで大規模言語モデルの学習が可能になる。

ABSTRACT

Log-linear models are arguably the most successful class of graphical models for large-scale applications because of their simplicity and tractability. Learning and inference with these models require calculating the partition function, which is a major bottleneck and intractable for large state spaces. Importance Sampling (IS) and MCMC-based approaches are lucrative. However, the condition of having a "good" proposal distribution is often not satisfied in practice. In this paper, we add a new dimension to efficient estimation via sampling. We propose a new sampling scheme and an unbiased estimator that estimates the partition function accurately in sub-linear time. Our samples are generated in near-constant time using locality sensitive hashing (LSH), and so are correlated and unnormalized. We demonstrate the effectiveness of our proposed approach by comparing the accuracy and speed of estimating the partition function against other state-of-the-art estimation techniques including IS and the efficient variant of Gumbel-Max sampling. With our efficient sampling scheme, we accurately train real-world language models using only 1-2% of computations.

研究の動機と目的

• 大規模な対数線形モデルにおける分割関数推定の計算ボトル neck を解消すること、特に状態空間が極めて巨大な場合に焦点を当てる。
• 提案された重要度サンプリングやGumbel-Max法の限界を克服すること。これらは、不十分な提案分布のため、高分散または低精度を示すことがある。
• 局所性に敏感なハッシュ（LSH）を用いて、アモアタイズド部分線形時間で動作する、証明可能に不偏な推定器を開発すること。
• 提案手法が、計算コストを著しく削減しながらも、実世界の言語モデルの高精度な学習を可能にすることを実証すること。
• 産業スケールの機械学習応用に適した、正確かつ実用的な効率的かつスケーラブルな推定器の新クラスを確立すること。

提案手法

• SimHashベースのLSHを用いて、1サンプルあたりほぼ定数時間で、未正規化ターゲット分布からのサンプルを生成する。
• 衝突確率の推定値を用いてLSHサンプルに重み付けすることで不偏推定器を構築し、相関性や未正規化性があっても一貫性を保証する。
• LSHを介した最大内積検索（MIPS）の定式化を活用し、全列挙なしに高重み状態を効率的に取得する。
• LSHパラメータ（K, L）の調整と再帰的サンプリングの適用により、サンプル数を制御し、望ましいサンプル数を満たす。
• 確率的勾配降下法にLSHベースの推定器を統合し、対数線形モデルの学習において、正確な分割関数計算を置き換える。
• 固定サイズのサンプルセットに重要度重みを調整することで、不偏性を維持しながら計算オーバーヘッドを制御する。

実験結果

リサーチクエスチョン

• RQ1 LSHベースのサンプリングは、対数線形モデルにおける分割関数推定において、標準的最重要度サンプリングの代替として不偏的かつ効率的であると言えるか？
• RQ2 提案手法は、分割関数推定において部分線形時間計算量を達成しながらも、高い精度を維持できるか？
• RQ3 精度と速度の観点から、LSHベースの推定器は正確なGumbel-Max法や近似MIPS-Gumbel法と比較して、どのように性能を発揮するか？
• RQ4 提案された推定器は、計算コストを最小限に抑えながら、大規模言語モデルの有効な学習を可能にするか？
• RQ5 サンプルサイズとLSHパラメータのチューニングが、分割関数推定の精度と効率に与える影響は何か？

主な発見

• LSHベースの推定器は、1サンプルあたりほぼ定数時間のサンプリングを実現し、分割関数のアモアタイズド部分線形時間計算を可能にする。
• PTBおよびText8データセットにおいて、LSH推定器は正確なGumbel法（MAE ≈ 91.8および140.7）と同等の精度を達成しながら、正確な手法よりも顕著に高速である。
• 均一な重要度サンプリング（Uniform IS）は高い分散を示し、性能が著しく劣り、PTBでは困惑度が524.3に達するなど、不安定さが顕著に現れた。
• MIPS Gumbelアプローチは、分割関数推定の不正確さにより学習中に発散した。これは、推定器の信頼性の重要性を強調している。
• LSH推定器により、学習計算量を元の1–2％にまで削減しながらも、高いモデル精度を維持でき、困惑度の結果から明らかになった。
• サンプルサイズが増加するにつれ、LSH推定器のMAEは正確なGumbel法に近づき、収束性と頑健性が示された。