[論文レビュー] Candidates vs. Noises Estimation for Large Multi-Class Classification Problem

Lei Han, Yiheng Huang+1 more|arXiv (Cornell University)|Nov 2, 2017

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、大規模な多値分類問題に対して、小さな候補クラスの集合を選択し、残りのクラスをノイズとしてサンプリングする手法である、候補クラス対ノイズ推定（CANE）を提案する。この手法により、統計的分散が低く、例ごとの計算量がO(1)に保たれる一貫性のある推定が達成される。CANEは、画像分類およびニューラル言語モデリングのタスクにおいて、NCE やその変種、および最先端のツリー分類器と比較して、精度と速度の両面で優れている。

ABSTRACT

This paper proposes a method for multi-class classification problems, where the number of classes K is large. The method, referred to as Candidates vs. Noises Estimation (CANE), selects a small subset of candidate classes and samples the remaining classes. We show that CANE is always consistent and computationally efficient. Moreover, the resulting estimator has low statistical variance approaching that of the maximum likelihood estimator, when the observed label belongs to the selected candidates with high probability. In practice, we use a tree structure with leaves as classes to promote fast beam search for candidate selection. We further apply the CANE method to estimate word probabilities in learning large neural language models. Extensive experimental results show that CANE achieves better prediction accuracy over the Noise-Contrastive Estimation (NCE), its variants and a number of the state-of-the-art tree classifiers, while it gains significant speedup compared to standard O(K) methods.

研究の動機と目的

• Kクラス（例：数万から数十万）を有する大規模な多値分類問題において、標準的なソフトマックス回帰の計算が非現実的であることを解決する。
• ノイズ対比推定（NCE）のような既存のサンプリングベースの手法とは異なり、すべての非ターゲットクラスを均一にノイズとして扱うのではなく、統計的効率性を向上させる。
• 真のクラスが選択された候補セット内に高い確率で含まれる場合に、一貫性があり、統計的分散が低い推定器を構築する。
• 候補クラスの選択とノイズサンプリングにより、クラス数Kに依存しない計算を分離することで、高速な学習および予測を可能にする。
• CANEをニューラル言語モデリングに統合し、単語の確率を効率的に推定しながら、モデル性能を維持する。

提案手法

• 各入力に対して、小さな適応的候補クラスのサブセットを選択し、残りのクラスをノイズとして扱う一般化されたフレームワークとしてCANEを提案する。
• クラスをリーフとするツリー構造を用い、候補クラス選択のための高速ビームサーチを可能にすることで、探索コストを低減する。
• 全Kクラスの正規化を回避するため、候補クラスとサンプリングされたノイズクラスの間の対比学習問題として推定目的を定式化する。
• 真のクラスが候補セット内に高い確率でカバーされることを活用することで、一貫性と低分散を確保し、MLE性能に近づける。
• Kに依存しないスケーリングが可能な確率的勾配降下（SGD）手順を実装し、効率的な学習を可能にする。
• LSTMと学習可能な埋め込みを用いたニューラル言語モデリングにCANEを適用し、候補語はツリーに基づくビームサーチで選択し、ノイズ語はパワーを適用したユニグラム分布からサンプリングする。

実験結果

リサーチクエスチョン

• RQ1 候補ベースのサンプリング戦略は、大規模な多値分類において一貫性のある推定と低統計的分散を達成できるか？
• RQ2 CANEの性能は、NCE やその変種と比較して、予測精度と学習速度の面でどのように異なるか？
• RQ3 候補セットによる真のクラスのカバレッジが、推定器の分散と収束にどの程度影響を与えるか？
• RQ4 ツリー構造モデルと効果的に組み合わせることで、精度を損なわず候補選択を高速化できるか？
• RQ5 CANEは、ニューラル言語モデリングタスクにおいて、最先端のツリー分類器やサンプリング手法を上回る性能を示せるか？

主な発見

• Penn TreeBankおよびGutenbergデータセットの両方において、CANEはNCE や BlackOut よりも収束が早く、テストパープレキシティが低く、完全なソフトマックスに近いパープレキシティを達成している。
• Penn TreeBankデータセットでは、80個の候補を用いたCANEが、テストパープレキシティ102.5を達成し、同じ設定下でNCE（105.8）と BlackOut（106.1）を上回った。
• Gutenbergデータセットでは、CANEは学習時間を約5時間にまで短縮した（NCEは6〜8時間、完全なソフトマックスは35時間）、一方で競争力のあるパープレキシティを維持した。
• ALOIおよびImgNet-10Kでは、9個の候補を選択した場合、真のラベルが候補セットに含まれる確率が97%を超えることが示され、高いカバレッジが確認された。
• ImageNet-10Kでは、CANEはトップ1精度21.9%を達成し、NCE や BlackOut を上回り、一部のO(K)手法よりも優れていたが、最先端の28.4%の結果には及ばなかった。
• ビームサーチによる1例あたりの処理がわずかに遅いものの、候補セットのサイズが小さくなったため、CANEの予測時間はNCE や BlackOut よりも顕著に高速であった。