[論文レビュー] Probabilistic Label Trees for Extreme Multi-label Classification

Kalina Jasinska-Kobus, Marek Wydmuch+3 more|arXiv (Cornell University)|Sep 23, 2020

Text and Document Classification Technologies参考文献 49被引用数 9

ひとこと要約

本稿では、ノード固有の分類器を用いて木のパスに沿ってラベル確率を要因分解する階層的モデルである確率的ラベル木（PLTs）を紹介する。PLTsは、複数の指標において一貫性を示し、木構造と分類器を同時にオンライン学習可能な完全オンライン学習を可能にするとともに、Amazon-3M や WikipediaLarge-500K などの大規模データセットで最先端の性能を示す napkinXC という新実装を導入している。

ABSTRACT

Extreme multi-label classification (XMLC) is a learning task of tagging instances with a small subset of relevant labels chosen from an extremely large pool of possible labels. Problems of this scale can be efficiently handled by organizing labels as a tree, like in hierarchical softmax used for multi-class problems. In this paper, we thoroughly investigate probabilistic label trees (PLTs) which can be treated as a generalization of hierarchical softmax for multi-label problems. We first introduce the PLT model and discuss training and inference procedures and their computational costs. Next, we prove the consistency of PLTs for a wide spectrum of performance metrics. To this end, we upperbound their regret by a function of surrogate-loss regrets of node classifiers. Furthermore, we consider a problem of training PLTs in a fully online setting, without any prior knowledge of training instances, their features, or labels. In this case, both node classifiers and the tree structure are trained online. We prove a specific equivalence between the fully online algorithm and an algorithm with a tree structure given in advance. Finally, we discuss several implementations of PLTs and introduce a new one, napkinXC, which we empirically evaluate and compare with state-of-the-art algorithms.

研究の動機と目的

• ラベル集合が100万を超えるような極端な多ラベル分類（XMLC）における計算的・統計的課題に対処すること。
• ラベル木に沿った二値分類の逐次的決定に帰着させることで、多ラベル学習の計算量をサブラインアーに削減する階層的モデルの開発。
• 個々のノード分類器の補間損失のレジームに基づいて、レジームの上界をとることで、多様な性能指標（例：precision@k や F1スコア）におけるPLTの統計的一致性を保証すること。
• データやラベルの事前知識がなくても、木構造とノード分類器を逐次的に学習可能な完全オンライン学習を可能にすること。
• 大規模スケールのXMLCに適した効率的でスケーラブルな実装である napkinXC の設計と評価。

提案手法

• ラベル木の根から葉までのパスに沿って、条件付きラベル確率をチェーンルールでモデル化し、ジョイント確率をノードごとの条件付き推定に要因分解する。
• 内部ノードで二値分類器を用いてパスの継続を決定し、葉ノードで最終的なラベル包含を予測する。
• ノード分類器を補間損失（例：二乗ヒンジ損失）を用いて学習し、オンライン学習アルゴリズムを用いて木構造を最適化する。
• 推論時に木探索方針を適用し、累積パス確率に基づいて上位k個のラベルを効率的に予測する。
• 木構造とノード分類器を同時に学習する新規オンラインアルゴリズムを導入し、特定の条件下では事前に構造が固定された木と同等の性能を示すことを理論的に証明した。
• 極大スケールのデータセットに最適化された、新しいPLTフレームワークである napkinXC を実装した。

実験結果

リサーチクエスチョン

• RQ1 補間損失の一般最小化のもとで、precision@k や F1スコアといった多様な性能指標において、PLTsが一貫性を示すことは証明できるか？
• RQ2 事前に構造が固定された木を用いたオフライン学習と比較して、木構造とノード分類器を同時にオンライン学習する手法は、どのように性能を発揮するか？
• RQ3 極端な多ラベル分類設定において、木の深さや分岐度（arity）が予測精度と推論速度に与える影響は何か？
• RQ4 提案された napkinXC 実装は、Amazon-3M や WikipediaLarge-500K といった大規模ベンチマークにおいて、最先端のXMLC手法と比較してどのように性能を発揮するか？
• RQ5 事前知識なしにストリーミングデータに適応しながらも、オンライン学習手順が予測性能をどれほど維持できるか？

主な発見

• PLTsは統計的一致性を達成する：レジームは個々のノード分類器の補間損失のレジームの関数によって上界が与えられ、最適解への収束が保証される。
• 木構造と分類器を同時に学習する完全オンラインアルゴリズムは、事前に構造が固定された木を用いた学習と理論的に同等であり、性能を損なわず動的適応が可能である。
• Amazon-3M データセットでは、napkinXC が 46.23% の precision@1 と 44.74% の precision@5 を達成し、同じ学習環境下で先行手法を上回った。
• WikipediaLarge-500K では、napkinXC が 66.77% の precision@1 と 63.88% の precision@5 を達成し、1例あたりの推論時間が 3ms 未満、モデルサイズが 2.5GB 未満に収まった。
• 木の深さを短くしたり分岐度を大きくしても性能への影響は限定的であるが、事前葉ノードの次数（degree）は推論速度とモデルサイズに顕著な影響を与え、100次までの事前葉が性能と効率の最適なトレードオフを提供した。
• モデルは効率的にスケーリング可能である：Amazon-3M での学習は約 5.4 時間、モデルサイズは 9.86GB であり、1例あたりの推論時間は 2ms 未満で、実世界の導入に実用的であることが示された。