[論文レビュー] A Communication-Efficient Parallel Algorithm for Decision Tree

Qi Meng, Guolin Ke+5 more|arXiv (Cornell University)|Nov 4, 2016

Data Mining Algorithms and Applications参考文献 21被引用数 69

ひとこと要約

本稿では、決定木および勾配ブースティングモデルの学習に向けた通信効率の高い並列アルゴリズムであるParallel Voting Decision Tree (PV-Tree)を提案する。局所的およびグローバルな投票を用いることで、通信を最上位の特徴量に限定し、全特徴量数に依存しない低通信コストを実現しながらも高い精度を維持する。実世界のデータセットにおいて、従来手法と比較して顕著に優れた速度-精度トレードオフを達成する。

ABSTRACT

Decision tree (and its extensions such as Gradient Boosting Decision Trees and Random Forest) is a widely used machine learning algorithm, due to its practical effectiveness and model interpretability. With the emergence of big data, there is an increasing need to parallelize the training process of decision tree. However, most existing attempts along this line suffer from high communication costs. In this paper, we propose a new algorithm, called \emph{Parallel Voting Decision Tree (PV-Tree)}, to tackle this challenge. After partitioning the training data onto a number of (e.g., $M$) machines, this algorithm performs both local voting and global voting in each iteration. For local voting, the top-$k$ attributes are selected from each machine according to its local data. Then, globally top-$2k$ attributes are determined by a majority voting among these local candidates. Finally, the full-grained histograms of the globally top-$2k$ attributes are collected from local machines in order to identify the best (most informative) attribute and its split point. PV-Tree can achieve a very low communication cost (independent of the total number of attributes) and thus can scale out very well. Furthermore, theoretical analysis shows that this algorithm can learn a near optimal decision tree, since it can find the best attribute with a large probability. Our experiments on real-world datasets show that PV-Tree significantly outperforms the existing parallel decision tree algorithms in the trade-off between accuracy and efficiency.

研究の動機と目的

• 既存の並列決定木アルゴリズムにおける高い通信コスト、特に全ヒストグラムをすべての特徴量について交換する必要があるデータ並列設定における課題に対処する。
• 高いモデル精度を維持しつつ、スケーラブルで通信効率の高い並列決定木学習手法を開発する。
• モデル品質を損なわせることなく、マシン間通信を最小限に抑えることで、勾配ブースティングおよびランダムフォレストモデルの大規模な学習を可能にする。
• 投票に基づく特徴量選択が、高い確率で近似的に最適な分割を同定できることを理論的に裏付ける。

提案手法

• M台のマシンに横方向に訓練データを分割し、各マシンが部分的なサンプルを処理する。
• 局所的投票の実行：各マシンが自マシンのローカルデータから、情報量の多い上位k個の特徴量（例：情報ゲインやリスク低減基準により）を選択する。
• グローバル投票の実行：各マシンの上位k特徴量選択結果を集約し、過半数投票によってグローバルに上位2k個の特徴量を特定する。
• 全マシンから、グローバルに上位2k個の特徴量の完全なヒストグラムを収集し、グローバルな分布を計算する。
• 集約されたグローバルヒストグラム上で、情報量スコア（例：情報ゲイン）を評価して最良の分割を特定する。
• 反復的にこのプロセスを繰り返し、決定木を成長させる。通信は、上位特徴量のインデックスと最終候補セットの完全なヒストグラムに限定する。

実験結果

リサーチクエスチョン

• RQ1 従来のデータ並列手法と比較して、通信コストを著しく削減しつつも高い精度を達成できる並列決定木アルゴリズムは実現可能か？
• RQ2 候補特徴量の投票ベース選択が、グローバルに最適な分割を同定する確率に与える影響は何か？
• RQ3 マシン数やローカルデータサイズが、アルゴリズムの収束性と精度に与える影響は何か？
• RQ4 局所的に選択する特徴量数kの値が、通信コストとモデル性能のトレードオフに与える影響は何か？

主な発見

• PV-Treeは、全特徴量数に依存しない形で、上位k個の特徴量のインデックスとグローバルに上位2k個の特徴量の完全なヒストグラムのみを通信するため、従来のデータ並列手法と比較して顕著に通信コストを低減している。
• 実世界のランク付けおよびクリックスルーレート予測データセットを用いた実験では、PV-Treeは訓練速度とモデル精度の両面で、既存の並列GBDTアルゴリズムを上回っている。
• マシン数が最適点（例：8台から16台に増加）を超えると、通信オーバーヘッドの増加と1台あたりのデータ量の減少により収束が遅くなることが確認され、理論的予測と整合的である。
• LTRおよびCTRの両タスクにおいて、k ≤ 40とすることでほぼ最適な精度が達成され、マシン数が少ない場合にはローカルデータ量が大きいため、k=5のような小さなk値でも十分な性能が得られる。
• PV-Treeは、情報共有が欠如しているためモデルバイアスや収束性能の劣化を引き起こす孤立した学習ベースライン（SvoreとYu）を上回っている。
• 理論的解析により、ローカルデータが全データセットを代表している場合に、PV-Treeがグローバルに最良の特徴量を高い確率で同定できることを確認した。