[論文レビュー] Gradient tree boosting with random output projections for multi-label classification and multi-output regression

Arnaud Joly, Louis Wehenkel+1 more|arXiv (Cornell University)|May 18, 2019

Text and Document Classification Technologies参考文献 46被引用数 8

ひとこと要約

本稿では、出力相関に基づいて木構造を動的に共有するための、出力空間のランダムプロジェクションを用いた、マルチラベル分類およびマルチアウトプット回帰のための新規勾配ツリー・ブースティングフレームワークを提案する。1つの木を出力のランダムプロジェクションに適合させ、その予測値をすべての出力に線形的にプロジェクションすることで、計算効率を保ちながら相関する依存関係を効果的に捉える。この手法は、多様なデータセットにおいて、バイナリリレバンス法やジョイントツリー法を凌駕する性能を示した。

ABSTRACT

In many applications of supervised learning, multiple classification or regression outputs have to be predicted jointly. We consider several extensions of gradient boosting to address such problems. We first propose a straightforward adaptation of gradient boosting exploiting multiple output regression trees as base learners. We then argue that this method is only expected to be optimal when the outputs are fully correlated, as it forces the partitioning induced by the tree base learners to be shared by all outputs. We then propose a novel extension of gradient tree boosting to specifically address this issue. At each iteration of this new method, a regression tree structure is grown to fit a single random projection of the current residuals and the predictions of this tree are fitted linearly to the current residuals of all the outputs, independently. Because of this linear fit, the method can adapt automatically to any output correlation structure. Extensive experiments are conducted with this method, as well as other algorithmic variants, on several artificial and real problems. Randomly projecting the output space is shown to provide a better adaptation to different output correlation patterns and is therefore competitive with the best of the other methods in most settings. Thanks to model sharing, the convergence speed is also improved, reducing the computing times (or the complexity of the model) to reach a specific accuracy.

研究の動機と目的

• 既存のマルチアウトプット学習手法が、出力相関を無視する（例：バイナリリレバンス）か、相関にかかわらず共通の木構造を強制する（例：ジョイントツリー）という限界を是正すること。
• 出力空間のランダムプロジェクションを用いることで、出力間の相関構造に動的に適応する勾配ブースティング拡張法を開発すること。
• 相関のある出力間でのみ木構造を知的に共有することで、モデルの効率性と収束速度を向上させること。
• 多様なマルチラベルおよびマルチアウトプット回帰データセットにおいて、本手法を最先端のベースラインと比較して実証的に評価すること。

提案手法

• 各ブースティング反復において、すべての出力にわたる現在の残差の1つのランダムプロジェクションに適合する回帰木を成長させる。
• この木からの予測値を、すべての出力の残差に対して個別に線形にフィットさせることで、相関のある出力への選択的適応が可能になる。
• 本手法は、すべての出力に同じ木構造を強制しないため、ランダムプロジェクションを用いることで、変動する相関パターンに自然に適応できる。
• 2つのバリエーションを検討した：1つはグローバルな線形フィットを用い、もう1つは出力ごとに木のリーフを再ラベルすることで予測値を精緻化する。
• 線形プロジェクションによる予測値に基づいて残差を反復的に更新することで、ブースティングフレームワークを維持する。
• 理論的に、訓練データ上で収束性の証明を行い、全体の損失関数を最小化することを示した。

実験結果

リサーチクエスチョン

• RQ1 出力空間のランダムプロジェクションは、勾配ブースティングが相関のある出力間でのみ木構造を動的に共有できるようにするか？
• RQ2 本手法は、多様なマルチアウトプット学習タスクにおいて、バイナリリレバンス法やジョイントツリー法と比較して、性能に優れているか？
• RQ3 ランダムプロジェクションの使用は、標準的なマルチアウトプットブースティングと比較して、収束速度とモデル効率を向上させるか？
• RQ4 本手法は、マルチラベルおよびマルチアウトプット回帰問題におけるさまざまな相関構造に、どの程度一般化可能か？

主な発見

• 提案手法、特に gbrt-rpo-gaussian のバリエーションは、21個のマルチラベルデータセットのうち14個で最良またはほぼ最良の性能を達成し、いくつかのベンチマークで平均平均精度（mAP）が顕著に向上した。
• 医療およびタンパク質相互作用データセットでは、gbrt-rpo-gaussian がそれぞれ mAP スコア 0.867±0.011 および 0.310±0.007 を達成し、すべてのベースラインを上回った。
• マルチアウトプット回帰においては、8つのデータセットのうち6つで最先端の性能を達成し、gbrt-rpo-gaussian のバリエーションは5つのデータセットで最高の R² スコアを記録した。
• 相関のある出力間でのみ木構造を共有することで、学習時間とモデルの複雑さが削減され、標準的なジョイントツリー手法よりも収束が速くなった。
• 再ラベル化バリエーション（gbrt-relabel-rpo-gaussian）は、一部のデータセットでさらなる性能向上を示し、出力固有の精緻化が一般化性能を向上させることを示唆した。
• 実証的結果から、ランダムプロジェクションがモデルが自動的に出力相関を検出し、活用できることを確認した。これは、独立学習と完全共有学習の両戦略を凌駆する結果となった。