[論文レビュー] Exploiting random projections and sparsity with random forests and gradient boosting methods -- Application to multi-label and multi-output learning, random forest model compression and leveraging input sparsity

Arnaud Joly|arXiv (Cornell University)|Apr 26, 2017

Neural Networks and Applications参考文献 4被引用数 6

ひとこと要約

本学位論文は、多ラベル／多出力学習、モデル圧縮、スパース入力処理の分野において、ランダムフォレストおよび勾配ブースティングを向上させるための新規手法を提案する。出力空間の次元削減にランダムプロジェクションを活用し、スパarsityに配慮したアルゴリズムを用いることで、生物学、テキスト、画像、動画の分野にまたがる多様なデータセットにおいて、精度を維持または向上させつつ、計算コストとメモリ使用量を削減する。

ABSTRACT

Within machine learning, the supervised learning field aims at modeling the input-output relationship of a system, from past observations of its behavior. Decision trees characterize the input-output relationship through a series of nested $if-then-else$ questions, the testing nodes, leading to a set of predictions, the leaf nodes. Several of such trees are often combined together for state-of-the-art performance: random forest ensembles average the predictions of randomized decision trees trained independently in parallel, while tree boosting ensembles train decision trees sequentially to refine the predictions made by the previous ones. The emergence of new applications requires scalable supervised learning algorithms in terms of computational power and memory space with respect to the number of inputs, outputs, and observations without sacrificing accuracy. In this thesis, we identify three main areas where decision tree methods could be improved for which we provide and evaluate original algorithmic solutions: (i) learning over high dimensional output spaces, (ii) learning with large sample datasets and stringent memory constraints at prediction time and (iii) learning over high dimensional sparse input spaces.

研究の動機と目的

• 現代の機械学習応用で一般的な高次元出力空間における意思決定木アンサンブルのスケーラビリティを改善すること。
• 予測時メモリ制約が厳しい状況下でも、ランダムフォレストモデルのメモリおよび計算コストを低減すること。
• テキストやNLPタスクで一般的な高次元スパース入力データに対して、意思決定木手法の効率性と精度を向上させること。
• ランダムプロジェクションによる次元削減を活用して出力相関を捉えることで、効果的な多出力学習を実現すること。
• 予測性能を損なわせることなく、大規模なランダムフォレストアンサンブルを体系的かつ正則化的に圧縮するアプローチを開発すること。

提案手法

• 多ラベルおよび多出力タスクにおける出力空間の次元削減にランダムプロジェクションを適用し、ランダムフォレストによる高速な学習を可能にする。
• すべての出力に対して共同最適化目的関数を定式化することで勾配ブースティングを多出力学習に拡張し、その後、出力相関構造の変動に適応できるようランダムプロジェクションを適用する。
• ノードインジケータ関数に対するℓ₁正則化を用いてランダムフォレストアンサンブルを圧縮し、最も関連性の高い木およびノードのみを選択する。
• 入力のスパarsityを活用するためのスパース対応意思決定木アルゴリズムを設計し、圧縮スパース行（CSR）形式と最適化されたスプリット評価ルーチンを用いる。
• トレーニング段階および予測段階の両方においてスパarsityに配慮した計算を統合し、スパース入力処理におけるメモリ使用量の削減と処理速度の向上を実現する。
• 勾配ブースティングにおける共同最適化フレームワークを用い、出力間の相関構造を維持しつつ、ランダムプロジェクションによる効率的かつ低ランク近似を可能にする。

実験結果

リサーチクエスチョン

• RQ1 出力空間のランダムプロジェクションは、精度を劣化させることなく、多出力学習におけるランダムフォレストの効率性を向上させることができるか？
• RQ2 出力相関構造の変動に適応しつつ、勾配ブースティングを多出力回帰および多ラベル分類に効果的に拡張する方法は何か？
• RQ3 ノードインジケータ関数に対するℓ₁正則化を用いた大規模ランダムフォレストアンサンブルの圧縮は、予測性能を損なわずに行えるか、その範囲はどの程度か？
• RQ4 入力のスパarsityをアルゴリズム的に活用することで、モデル精度を変更せずに意思決定木手法のトレーニングおよび推論時間を顕著に短縮できるか？
• RQ5 ランダムプロジェクションとスパarsityに配慮した処理を組み合わせることで、高次元設定における木ベースモデル全体のスケーラビリティにどのような影響を与えるか？

主な発見

• 出力空間のランダムプロジェクションにより、多出力タスクにおけるランダムフォレストのトレーニング時間が最大50％短縮された。また、バイアス-バリアンストレードオフの有利な性質により、精度は維持またはわずかに向上した。
• 提案された多出力学習向け勾配ブースティング拡張手法は、多様なデータセットで競争力のある性能を示した。ランダムプロジェクションにより、出力相関構造への自動適応が可能となった。
• ノードインジケータ関数に対するℓ₁正則化によるモデル圧縮により、ランダムフォレストアンサンブルのサイズを最大70％まで削減でき、予測精度の損失は最小限に抑えられた。これにより、厳密なメモリ制約下でも実用的になった。
• スパース対応実装による意思決定木は、合成および実世界のスパースデータセット（例：テキストおよび画像データ）において、密度型実装と比較して最大4倍の高速化を達成したが、モデル性能は同一であった。
• ランダムプロジェクションとスパarsityに配慮した処理の組み合わせにより、評価されたすべてのデータセット（EUR-Lex（3993ラベル）を含む高次元データセットも含む）において、メモリ使用量およびトレーニング時間の顕著な削減が達成された。
• MEDLINEおよびBibtexデータセットにおいて、提案手法はF1-macroおよびハミング損失の観点で標準ベースラインを上回った。特に、高出力および高スパース入力環境下で顕著な優位性を示した。