[論文レビュー] Simultaneous Learning of Trees and Representations for Extreme Classification and Density Estimation

Yacine Jernite, Anna Choromanska+1 more|arXiv (Cornell University)|Oct 14, 2016

Machine Learning and Data Classification参考文献 47被引用数 14

ひとこと要約

本稿では、極端な多クラス分類および条件付き密度推定における階層的木構造とデータ表現の同時学習のための新しいアルゴリズムを提案する。確率的勾配降下法（SGD）を用いてバランスの取れた、分離可能なノード分割の目的関数を最適化することで、テキスト分類および言語モデリングのベンチマークにおいて、FastText やハフマン木といったベースラインを上回る最先端の精度と効率性を達成する。また、エンドツーエンドの表現および木構造の学習を可能にする。

ABSTRACT

We consider multi-class classification where the predictor has a hierarchical structure that allows for a very large number of labels both at train and test time. The predictive power of such models can heavily depend on the structure of the tree, and although past work showed how to learn the tree structure, it expected that the feature vectors remained static. We provide a novel algorithm to simultaneously perform representation learning for the input data and learning of the hierarchi- cal predictor. Our approach optimizes an objec- tive function which favors balanced and easily- separable multi-way node partitions. We theoret- ically analyze this objective, showing that it gives rise to a boosting style property and a bound on classification error. We next show how to extend the algorithm to conditional density estimation. We empirically validate both variants of the al- gorithm on text classification and language mod- eling, respectively, and show that they compare favorably to common baselines in terms of accu- racy and running time.

研究の動機と目的

• 最適でない木構造による極端な分類および密度推定における性能の低さという課題に対処すること。
• 表現を固定するのではなく、ヒューリスティックに依存するのではなく、入力表現と階層的木構造の両方をエンドツーエンドで学習可能にすること。
• データに依存する、高品質でバランスの取れた、分離可能な木分割を構築するための効率的なアルゴリズムの開発。
• 特に言語モデリングを含む条件付き密度推定へのこの手法の拡張。
• ブースティング風の性質と分類誤差の境界を示す理論的保証を通じて、モデルの精度に関する保証を提供すること。

提案手法

• 任意の arity を持つ木構造における、バランスの取れており、容易に分離可能な多方向ノード分割を促進する新しい目的関数を導入。
• 確率的勾配降下法（SGD）を用いて目的関数を最適化し、木構造と特徴表現の両方を同時に学習可能にする。
• 勾配に基づく選択を用いて、深さ制約付きでラベルを子ノードに貪欲に割り当てるアルゴリズム（AssignLabels）を採用。
• 推論時に深さ優先探索の断片化を用い、スコアが低い部分木を pruning することで、最も可能性の高いラベルを効率的に特定。
• ラベル上の確率分布を木構造的な目的関数でモデル化することで、条件付き密度推定へのフレームワークの適応。
• 語彙埋め込みを階層的ソフトマックスを用いて学習し、クラスタベースのラベル割り当てを実施することで、65-ary 樹木を用いた言語モデリングにこの手法を適用。

実験結果

リサーチクエスチョン

• RQ1 データ駆動型でエンドツーエンドのアプローチにより、極端な分類のための最適な木構造と入力表現を同時に学習可能か？
• RQ2 提案された目的関数は、固定またはヒューリスティックな木構造と比較して、より良い一般化性能と低い分類誤差をもたらすか？
• RQ3 同じフレームワークを、言語モデリングを含む条件付き密度推定に効果的に拡張可能か？
• RQ4 既存のベースラインと比較して、学習時間および推論時間におけるスケーリング特性はいかがなっているか？
• RQ5 木の深さと arity がモデルの精度と効率性に与える影響は何か？

主な発見

• YFCC100M データセットにおいて、arity 5 の学習済み木は d=20 時に 32.1% の精度を達成し、FastText（27.2%）およびハフマン木（28.3%）を上回り、推論速度も速かった。
• d=200 時に、学習済み木は 36.6% の精度に達し、TagSpace（35.6%）および FastText（35.2%）を上回りながらも、低いテスト時間維持を実現した。
• 言語モデリングにおいて、学習済み木ベースのモデルは Gutenberg コーパスで競争力ある性能を示し、密度推定における有効性を裏付けた。
• d=200 の学習に 45 分を要したのに対し、TagSpace は 15 時間を要しており、顕著な高速化が達成された。
• 理論的分析により、ブースティング風の性質が確認され、分類誤差の境界が提供され、目的関数の設計の妥当性が裏付けられた。
• ラベル割り当てアルゴリズムは、深さ制約付きでラベルを葉に適切に割り当てることができ、最終的な木構造では解釈可能なクラスタ（例：3人称単数動詞、過去 participle、場所など）が出現した。