[論文レビュー] LdSM: Logarithm-depth Streaming Multi-label Decision Trees

Maryam Majzoubi, Anna Choromanska|arXiv (Cornell University)|May 24, 2019

Machine Learning and Data Classification参考文献 30被引用数 7

ひとこと要約

LdSMは、バランスの取れた、純度の高い、かつ効率的なデータ分割を保証するための新しい目的関数を最適化する、ストリーミング処理可能で対数的深さの多ラベル意思決定木アルゴリズムを提案する。多方向への例のルーティングを許容しつつ、過剰成長を防ぐためのペナルティを導入することで、ベンチマークデータセットにおいて最先端の精度と低遅延の推論を達成し、従来の木ベースおよび非木ベース手法を精度とnDCGスコアの両面で上回る。

ABSTRACT

We consider multi-label classification where the goal is to annotate each data point with the most relevant $ extit{subset}$ of labels from an extremely large label set. Efficient annotation can be achieved with balanced tree predictors, i.e. trees with logarithmic-depth in the label complexity, whose leaves correspond to labels. Designing prediction mechanism with such trees for real data applications is non-trivial as it needs to accommodate sending examples to multiple leaves while at the same time sustain high prediction accuracy. In this paper we develop the LdSM algorithm for the construction and training of multi-label decision trees, where in every node of the tree we optimize a novel objective function that favors balanced splits, maintains high class purity of children nodes, and allows sending examples to multiple directions but with a penalty that prevents tree over-growth. Each node of the tree is trained once the previous node is completed leading to a streaming approach for training. We analyze the proposed objective theoretically and show that minimizing it leads to pure and balanced data splits. Furthermore, we show a boosting theorem that captures its connection to the multi-label classification error. Experimental results on benchmark data sets demonstrate that our approach achieves high prediction accuracy and low prediction time and position LdSM as a competitive tool among existing state-of-the-art approaches.

研究の動機と目的

• 従来のone-against-all手法が非効率的になる、極めて大きなラベル集合を有する多ラベル分類の課題に対処すること。
• 予測の高速化を保証する対数的深さの木ベース予測器を設計し、バランスの取れたかつ純度の高い分割により高い精度を維持すること。
• 1つのノードが完了した後に次のノードを順次処理するストリーミング学習メカニズムを構築し、大規模データへのスケーラビリティを実現すること。
• ラベルの純度、バランスの取れた分割、および制御された多分岐ルーティングを統合的に最適化する新しい目的関数を導入すること。
• 目的関数と多ラベル分類誤差との理論的関連を裏付けることで、誤差の単調減少とブースティングに類似した収束保証を示すこと。

提案手法

• LdSMアルゴリズムは、各ノードが新しい目的関数を用いる多ラベル意思決定木を構築する。この目的関数は、特徴空間およびラベル空間の両方におけるデータ分割のバランスをとる。
• 目的関数は、子ノードにおける高いクラス純度を促進し、木の過剰成長を防ぐために多分岐による例の割り当てを明示的にペナルティ化する。
• バランスの取れた分割を実現するために、深さを対数的におさめるバランス項を組み込み、効率的な予測を可能にする。
• アルゴリズムはノードをストリーミング形式で逐次学習し、直前のノードの処理が完了した後、次のノードを処理する。
• 各ノードで複数の回帰器を使用して、例を複数の子ノードにルーティング可能とし、ルーティングの多重性を制御するためのペナルティ項を導入する。
• 理論的分析により、目的関数の最小化が純度とバランスの両面で改善され、多ラベル分類における誤差の単調減少をもたらすことが示された。

実験結果

リサーチクエスチョン

• RQ1 バランスの取れた、純度の高い、多方向の分割を強制することで、木ベースの多ラベル分類器は高い精度と低遅延の予測を達成できるか？
• RQ2 ラベル純度、バランス性、多分岐ルーティングを統合的に最適化する新しい目的関数は、より良い一般化性能と誤差低減をもたらすか？
• RQ3 多ラベル意思決定木のためのストリーミング学習アプローチは、大規模なラベル集合にスケーリングしながらも高い性能を維持できるか？
• RQ4 提案された目的関数と多ラベル分類誤差との理論的関連は何か？また、誤差の単調減少を保証するか？
• RQ5 FastXML、PFastreXML、Parabelといった最先端手法と比較して、LdSMは多様なベンチマークデータセットにおいて、精度とnDCGの両面で優れているか？

主な発見

• BibtexデータセットではLdSMがP@1スコア93.87を達成し、FastXML（93.11）とParabel（93.03）を上回った。
• Wiki10-31kデータセットではLdSMがP@1とN@1の両方で83.74を達成し、FastXML（83.03と83.03）とPFastreXML（83.57と83.57）を上回った。
• Delicious-200kではLdSMがP@1で45.26を記録し、FastXML（43.07）とPFastreXML（41.72）を上回り、長尾ラベル分布においても優れた性能を示した。
• Amazon-670kではLdSMがP@1で42.63を達成し、SLEEC（35.05）とFastXML（36.99）を著しく上回り、極めて多ラベルな設定でも頑健であることが示された。
• アブレーションスタディにより、提案された目的関数が各分割ごとに誤差を単調に減少させることを確認し、理論的ブースティング定理の妥当性を裏付けた。
• 可視化結果から、LdSMは木の深さやノード数が変化しても高い精度とnDCGを維持しており、安定的かつスケーラブルな性能を示している。