[論文レビュー] Sublinear Partition Estimation

Pushpendre Rastogi, Benjamin Van Durme|arXiv (Cornell University)|Aug 7, 2015

Advanced Image and Video Retrieval Techniques参考文献 17被引用数 3

ひとこと要約

この論文は、近似最近傍探索とカーネル特徴マップを用いて計算時間を削減することで、ニューラルネットワーク分類器における分配関数の推定にための3つのサブラインアー手法を提案する。MIMPS手法は、たった100個のヘッドサンプルと100個のテイルサンプルで高い精度を達成し、Z ≈ 1を仮定する一般的なNCEヒューリスティックを上回る。

ABSTRACT

The output scores of a neural network classifier are converted to probabilities via normalizing over the scores of all competing categories. Computing this partition function, $Z$, is then linear in the number of categories, which is problematic as real-world problem sets continue to grow in categorical types, such as in visual object recognition or discriminative language modeling. We propose three approaches for sublinear estimation of the partition function, based on approximate nearest neighbor search and kernel feature maps and compare the performance of the proposed approaches empirically.

研究の動機と目的

• 数十万もの出力クラスを有する大規模ニューラルネットワーク分類器において、Z(q) = ∑exp(ui) の分配関数を計算する際の計算ボトル neck を解消すること。
• ブルートフォースな分配関数計算のO(N)の複雑さをサブラインアー時間に低減し、言語モデルや画像認識などの大規模語彙タスクにおける高速推論を可能にすること。
• 外部モデルの必要性やZの訓練時制約の必要性を回避する、実用的で経験的に有効な推定器を開発すること。
• 特に言語モデルにおいて、これらの推定器の性能を制御された環境と現実世界の条件の両方で評価すること。

提案手法

• MIMPS（MIPSベースの重要度サンプリング）を提案する。これは、近似最近傍探索を用いてk個のスコアが高いクラスを特定し、これらのサンプルを用いた重要度サンプリングによりZ(q)を推定する。
• MINCE（MIPSベースのNCE）を導入する。これは最近傍検索とノイズ対比推定を組み合わせ、スコアが高いクラスと低いクラスの少数セットを用いてZ(q)を推定する。
• スコア空間をより高次元の空間に変換するためのカーネル特徴マップを採用し、内積が指数スコアをよりよく近似可能にする。これにより、効率的な推定が可能になる。
• 2段階のサンプリング戦略を採用する：上位k個の最近傍からの「ヘッド」サンプルと、残りのクラスからの「テイル」サンプルを用い、推定器の分散とバイアスのバランスを取る。
• 効率的な検索のため、FLANNライブラリを用い、修正されたK-平均ツリー法を適用したMIPSベースのアプローチを実装する。
• 推定精度に与えるリトリーブエラーとサンプルサイズの影響を分離するために、合成データを用いた制御実験を実施する。

実験結果

リサーチクエスチョン

• RQ1 近似最近傍探索は、サブラインアー時間で分配関数を推定するために効果的に活用可能か？
• RQ2 最近傍アルゴリズムにおけるリトリーブエラーは、分配関数推定の精度にどのように影響するか？
• RQ3 実世界の言語モデルタスクにおいて、MIMPS推定器はZ ≈ 1を仮定する標準的なNCEヒューリスティックを上回るか？
• RQ4 ヘッドサンプルとテイルサンプルの数は、推定精度と計算速度のトレードオフにどのように影響するか？
• RQ5 最近傍サンプリングと組み合わせた場合、カーネル特徴マップは分配関数推定の品質を向上させるか？

主な発見

• 100個のヘッドサンプルと100個のテイルサンプルを用いた場合、MIMPS推定器はPenn Treebankテストセットで絶対誤差198.5を達成し、NCEヒューリスティックの352誤差を顕著に上回った。
• 100個のヘッドサンプルと100個のテイルサンプルを用いた場合、MIMPS手法は70.5％のテストコンテキストでNCEヒューリスティックを上回り、一貫した改善を示した。
• ブルートフォース計算に比べて10倍の高速化を達成しながらも、高い推定精度を維持した。
• 制御実験の結果、推定誤差はリトリーブエラーが増加するにつれて増加することが明らかとなり、正確な最近傍インデキシングの重要性が強調された。
• MINCE推定器は理論的には有望であったが、実際には信頼できる推定を達成できず、性能が低かった。
• 結果から、サブラインアーな分配関数推定の性能は、根本的な最近傍インデキシング機構の質に強く依存することが示唆された。