[論文レビュー] Drawing Parallels between Multi-Label Classification and Multi-Target Regression

Eleftherios Spyromitros-Xioufis, William Groves+2 more|arXiv (Cornell University)|Nov 28, 2012

Text and Document Classification Technologies被引用数 1

ひとこと要約

この論文は、二つの成功した多ラベル分類手法—Stacked Single-Target および Ensemble of Regressor Chains—を多目標回帰に適応させ、ターゲット変数の推定における訓練・予測の不一致を解消する。訓練時における外側推定を用いることで、多様なデータセットにおいて独立回帰および最先端のマルチタスク学習手法を著しく上回る性能を達成する。

ABSTRACT

In many practical applications of supervised learning the task involves the prediction of multiple target variables from a common set of input variables. When the prediction targets are binary the task is called multi-label classification, while when the targets are continuous the task is called multi-target regression. In both tasks, target variables often exhibit statistical dependencies and exploiting them in order to improve predictive accuracy is a core challenge. A family of multi-label classification methods address this challenge by building a separate model for each target on an expanded input space where other targets are treated as additional input variables. Despite the success of these methods in the multi-label classification domain, their applicability and effectiveness in multi-target regression has not been studied until now. In this paper, we introduce two new methods for multi-target regression, called Stacked Single-Target and Ensemble of Regressor Chains, by adapting two popular multi-label classification methods of this family. Furthermore, we highlight an inherent problem of these methods - a discrepancy of the values of the additional input variables between training and prediction - and develop extensions that use out-of-sample estimates of the target variables during training in order to tackle this problem. The results of an extensive experimental evaluation carried out on a large and diverse collection of datasets show that, when the discrepancy is appropriately mitigated, the proposed methods attain consistent improvements over the independent regressions baseline. Moreover, two versions of Ensemble of Regression Chains perform significantly better than four state-of-the-art methods including regularization-based multi-task learning methods and a multi-objective random forest approach.

研究の動機と目的

• 成功した多ラベル分類手法を多目標回帰設定に拡張すること。
• これらの手法における訓練段階と予測段階の間で生じるターゲット変数値の本質的な不一致を解消すること。
• 複数の連続的ターゲット間の統計的依存関係を活用する改善された回帰モデルの開発。
• 提案手法の有効性を独立回帰および最先端のマルチタスク学習手法と比較して評価すること。

提案手法

• 他のターゲットを特徴量として含む拡張された入力空間上で、各ターゲットに対して別個の回帰器を訓練することで、多ラベル分類から得られる Stacked Single-Target 法を多目標回帰に適応する。
• ターゲットの順序をランダム化した複数の回帰器チェーンを訓練することで、Ensemble of Regressor Chains 法を適応する。
• 訓練段階でターゲット変数の外側推定値を用いることで、訓練と予測の段階における不一致を解消する、新しい訓練手順を導入する。
• 交差検証に基づく推定を用いて、訓練段階で入力特徴量として使用されるターゲット変数の信頼性の高い外側予測値を生成する。
• Ensemble of Regressor Chains 法において、複数のチェーンのアンサンブル平均を適用することで、耐性および予測精度を向上させる。
• スタックドおよびアンサンブルフレームワーク内でのベースラーナーとして、標準的な回帰モデル（例：線形モデル、ランダムフォレスト）を用いる。

実験結果

リサーチクエスチョン

• RQ1 確立された多ラベル分類手法を多目標回帰タスクに効果的に適応できるか？
• RQ2 訓練と予測におけるターゲット値の不一致が、これらの適応手法のモデル性能にどのように影響するか？
• RQ3 訓練段階でターゲット変数の外側推定値を用いることで、この不一致に起因する性能低下を緩和できるか？
• RQ4 提案手法は、独立回帰および既存の最先端のマルチタスク学習技術に対して顕著な改善を達成できるか？

主な発見

• 訓練・予測の不一致が適切に解消された場合、提案された Stacked Single-Target 法および Ensemble of Regressor Chains 法は、独立回帰ベースラインを著しく上回る予測精度を一貫して達成する。
• Ensemble of Regressor Chains 法の二つのバージョンは、正則化に基づくマルチタスク学習およびマルチオブジェクティブランダムフォレスト手法を含む、4つの最先端手法を顕著に上回る。
• 訓練段階で外側推定値を用いることで、不一致問題が効果的に解消され、性能向上の鍵となる。
• 広範かつ多様なデータセットにわたり、性能向上が観察され、広範な適用可能性と頑健性を示している。
• 多ラベル分類から多目標回帰への手法の適応は効果的かつ移植可能であり、強力な実証的裏付けを有する。
• 結果から、構造的な入力拡張によるターゲット間の依存関係のモデリングが、多目標回帰における有意義な性能向上をもたらすことが示された。