[論文レビュー] Fast Amortized Inference and Learning in Log-linear Models with Randomly Perturbed Nearest Neighbor Search

Stephen Mussmann, Daniel Lévy+1 more|arXiv (Cornell University)|Jul 11, 2017

Topic Modeling参考文献 22被引用数 6

ひとこと要約

本稿では、Gumbel摂動と最大内積検索（MIPS）を用いて、大規模な離散対数線形モデルにおけるサブ線形なアモアタイズド推論および学習手法を提案する。MIPSを用いて、上位 $O(\sqrt{n})$ 候補を遅延的にサンプリングし、末尾から一様サンプリングすることで、ImageNetおよび単語埋め込みにおいて正確な推論と比較して $5\text{--}10\times$ の高速化を達成し、保証された精度を有する。

ABSTRACT

Inference in log-linear models scales linearly in the size of output space in the worst-case. This is often a bottleneck in natural language processing and computer vision tasks when the output space is feasibly enumerable but very large. We propose a method to perform inference in log-linear models with sublinear amortized cost. Our idea hinges on using Gumbel random variable perturbations and a pre-computed Maximum Inner Product Search data structure to access the most-likely elements in sublinear amortized time. Our method yields provable runtime and accuracy guarantees. Further, we present empirical experiments on ImageNet and Word Embeddings showing significant speedups for sampling, inference, and learning in log-linear models.

研究の動機と目的

• 大規模だが列挙可能な出力空間を持つ対数線形モデルにおける推論および学習の高コストを軽減すること。
• 出力空間のサイズに対して線形からサブ線形へと、サンプリングおよび勾配計算のアモアタイズド実行時間を削減すること。
• 自然言語処理およびコンピュータビジョンの応用において、著しく高速化されたまま高い精度を維持すること。
• 大規模な対数線形モデルにおける近似推論および学習の、実行時間および精度の保証を提供すること。

提案手法

• 対数線形モデルからのサンプリングを、摂動を加えた非正規化対数確率の最大化に変換するGumbelマックストリックを活用する。
• Gumbel変数の遅延的インスタンス化を導入し、計算を上位 $O(\sqrt{n})$ 候補の状態に限定することで計算量を削減する。
• パラメータと特徴量の間の内積に基づいて、上位 $O(\sqrt{n})$ 候補を効率的に取得するため、最大内積検索（MIPS）データ構造を用いる。
• 上位-$k$ のMIPS結果と末尾からの一様サンプリングを組み合わせることで、分割関数および期待十分統計量を推定する。
• MIPSデータ構造をブラックボックスとして扱うことで、任意の効率的なMIPS実装との互換性を確保する。
• 偏りや相関の問題を回避するため、各クエリに対して独立で新規のGumbelサンプルを用いる。

実験結果

リサーチクエスチョン

• RQ1 大規模な離散対数線形モデルにおける推論および学習を、線形時間計算量を超えて高速化できるか？
• RQ2 精度を保持しつつ、サブ線形なアモアタイズド推論を達成できるか、理論的保証が得られるか？
• RQ3 線形コストを負担せずに、分布の末尾を近似推論に効果的に組み込む方法は何か？
• RQ4 Gumbel摂動とMIPSを組み合わせることで、保証された正確性と効率性を有する推論が得られるか？

主な発見

• ImageNetにおいて、正確な推論と比較して勾配計算で $9.6\times$ の高速化を達成し、対数尤度はほぼ同一であった。
• ImageNetにおいて、本手法は対数尤度 $-3.175$ を達成し、正確な手法（$-3.170$）に近く、上位-$k$ 法（$-4.062$）を上回った。
• ImageNetおよび単語埋め込みタスクにおいて、本手法は1クエリあたりのサンプリング、推論、学習で $5\text{--}10\times$ の高速化を達成した。
• $O(\sqrt{n})$ 候補と末尾からの一様サンプリングを組み合わせることで、分割関数および期待値の保証された正確な推定が可能となった。
• 事前に固定されたノイズを使用する従来のフローズン・ガンブル手法とは異なり、各クエリごとに新規のGumbelサンプルを用いることで、バイアスおよび相関の問題を回避した。
• 本手法は柔軟性があり、任意の効率的なMIPS実装と互換性があり、MIPS技術の進歩に伴い、性能向上が自然に反映される。