[論文レビュー] Multi-Label Classification Methods for Multi-Target Regression

Eleftherios Spyromitros-Xioufis, William Groves+2 more|arXiv (Cornell University)|Nov 28, 2012

Text and Document Classification Technologies被引用数 67

ひとこと要約

本稿では、マルチラベル分類技術にインspされた2つの新しいマルチターゲット回帰アルゴリズム—マルチターゲットスタッキング（MTS）と回帰チェーンのアンサンブル（ERC）—を提案する。入力変数の構築における欠陥を特定し、改善されたバージョン（MTSCおよびERCC）を導入。12のデータセットを用いた実験により、ERCCが強力なベースライン、特にマルチオブジェクティブランダムフォレストを著しく上回ることを示した。

ABSTRACT

Real world prediction problems often involve the simultaneous prediction of multiple target variables using the same set of predictive variables. When the target variables are binary, the prediction task is called multi-label classification while when the target variables are real-valued the task is called multi-target regression. Although multi-target regression attracted the attention of the research community prior to multi-label classification, the recent advances in this field motivate a study of whether newer state-of-the-art algorithms developed for multi-label classification are applicable and equally successful in the domain of multi-target regression. In this paper we introduce two new multi-target regression algorithms: multi-target stacking (MTS) and ensemble of regressor chains (ERC), inspired by two popular multi-label classification approaches that are based on a single-target decomposition of the multi-target problem and the idea of treating the other prediction targets as additional input variables that augment the input space. Furthermore, we detect an important shortcoming on both methods related to the methodology used to create the additional input variables and develop modified versions of the algorithms (MTSC and ERCC) to tackle it. All methods are empirically evaluated on 12 real-world multi-target regression datasets, 8 of which are first introduced in this paper and are made publicly available for future benchmarks. The experimental results show that ERCC performs significantly better than both a strong baseline that learns a single model for each target using bagging of regression trees and the state-of-the-art multi-objective random forest approach. Also, the proposed modification results in significant performance gains for both MTS and ERC.

研究の動機と目的

• 最近のマルチラベル分類分野の進展が、マルチターゲット回帰に適応可能かどうかを調査すること。
• マルチターゲット回帰における分解ベース手法の追加入力変数の構築方法に起因する深刻な欠陥を特定すること。
• この欠陥を是正し、予測性能を向上させるMTSおよびERCの改良版を開発すること。
• 12の実世界のマルチターゲット回帰データセット（うち8つは新たに導入され、公開可能）を用いた包括的なベンチマークで、提案手法を評価すること。
• 再現可能なベンチマークと最先端の性能結果を提供することで、今後の研究のための強固な実証的基盤を構築すること。

提案手法

• 他のターゲット変数を順次予測フレームワーク内の入力特徴量として扱うことで、回帰チェーンのマルチラベル分類アプローチをマルチターゲット回帰に適応する。
• 複数のターゲット順序をシャッフルして訓練した複数のチェーンを用い、予測をアンサンブル化することで回帰チェーン（ERC）にアンサンブル学習を適用し、耐性を向上させる。
• 異なるターゲットの組み合わせで訓練された複数のベース回帰器の予測を統合するメタアンサンブル手法として、マルチターゲットスタッキング（MTS）を導入する。
• 追加入力変数の構築方法を再定義することで、情報漏洩を回避し一般化性能を向上させる。このアプローチにより、MTSCおよびERCCという改変版を提案する。
• 比較のための強力なベースラインとしてバギング回帰木を採用し、最先端のマルチオブジェクティブランダムフォレストもベンチマークとして含む。
• 各ターゲットを順番に予測する単一ターゲット分解戦略を採用。他のすべてのターゲットを入力特徴量として用い、相互依存性をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 最先端のマルチラベル分類アルゴリズムが、マルチターゲット回帰設定に成功裏に適応可能か？
• RQ2 追加入力変数の構築手法が、分解ベースのマルチターゲット回帰モデルの性能に与える影響は何か？
• RQ3 入力構築の欠陥を是正したMTSおよびERCの改変版が、顕著な性能向上をもたらすか？
• RQ4 提案手法は、バギング回帰木やマルチオブジェクティブランダムフォレストといった強力なベースラインと比較して、実世界のデータセットでどのように性能を発揮するか？
• RQ5 新たに導入されたデータセットは、今後のマルチターゲット回帰研究のベンチマークとして適しているか？

主な発見

• 提案されたERCCアルゴリズムは、評価された12のデータセットすべてでバギング回帰木ベースラインおよび最先端のマルチオブジェクティブランダムフォレストを著しく上回った。
• 改変版であるERCCは、元のERCに比べて顕著な性能向上を達成しており、入力変数構築手法の是正が重要であることを示した。
• MTSCは元のMTSに比べて顕著な改善を示しており、入力変数構築の欠陥がモデル性能に悪影響を及えることが確認された。
• 8つの新しい実世界のマルチターゲット回帰データセットの導入により、今後の研究のための貴重なベンチマークと再現性が確保された。
• 実証的結果から、拡張された入力空間を用いたターゲット間依存性のモデル化が、独立したターゲットモデル化よりも優れた予測性能をもたらすことが確認された。
• 適切な入力構築がなされた回帰チェーンのアンサンブル（ERCC）は、評価されたすべてのアルゴリズムの中で、予測精度と耐性の観点から最も効果的な手法であった。