[論文レビュー] Machine Learning for Multi-Output Regression: When should a holistic multivariate approach be preferred over separate univariate ones?

Lena Schmid, Alexander Gerharz+2 more|arXiv (Cornell University)|Jan 14, 2022

Neural Networks and Applications被引用数 9

ひとこと要約

本稿は、多変量木ベースのアンサンブル手法（ランダムフォレストおよびエキストラツリー）が、多出力回帰において個別の単変量モデルを上回る条件を調査する。広範なシミュレーションと実データを用いて、出力同士の相関が高い場合には、多変量アプローチが予測精度を顕著に向上させることを示している。特にランダムフォレストではその効果が顕著であり、エキストラツリーでは実行時間の面で優れた効率性を発揮する。主な貢献は、出力間の相関と依存構造に基づいて手法選択を支援するデータ駆動型フレームワークの構築である。

ABSTRACT

Tree-based ensembles such as the Random Forest are modern classics among statistical learning methods. In particular, they are used for predicting univariate responses. In case of multiple outputs the question arises whether we separately fit univariate models or directly follow a multivariate approach. For the latter, several possibilities exist that are, e.g. based on modified splitting or stopping rules for multi-output regression. In this work we compare these methods in extensive simulations to help in answering the primary question when to use multivariate ensemble techniques.

研究の動機と目的

• 多出力回帰において、多変量木ベースのアンサンブル手法が個別の単変量モデルを上回る条件を特定すること。
• 出力間の相関および依存構造が、多変量手法と単変量手法の予測性能に与える影響を評価すること。
• 特にエキストラツリーにおいて、多変量と単変量アプローチの実行時間特性を比較すること。
• 多出力予測タスクにおける最適な手法選択について、実務家を支援する実証的指針を提供すること。
• 実世界のデータ環境において、単変量ベンチマークを凌駕する多変量木手法の応用を拡張すること。

提案手法

• 各出力変数に対して別々に訓練する単変量ランダムフォレスト（RF）およびエキストラツリー（ET）をベースラインモデルとして採用する。
• ノード不純度関数として、二乗誤差の和、マハラノビス距離、Eart Mower距離を用いた多変量ランダムフォレストおよびエキストラツリーを実装する。
• マルチタスクエキストラツリーのアルゴリズム（Simm et al., 2014）を改変し、尤度に基づく分割基準を用いて複数出力を同時に処理する。
• シミュレーションおよび実データの両設定で予測誤差（MSE）を推定するために、5分割交差検証およびローバイドウ交差検証を用いる。
• 実データの例題では、MVPARTおよびGUIDEアルゴリズムを外部ベンチマークとして比較に用いる。
• 相関および依存構造が異なる10種類の多変量データ生成メカニズム（MGAMs）を用いた包括的なシミュレーションを実施する。

実験結果

リサーチクエスチョン

• RQ1 包括的多変量木アンサンブル手法が、個別の単変量モデルよりも優れた予測精度を示す条件は何か？
• RQ2 出力間の相関が、多変量と単変量の木ベース手法間の性能差にどのように影響するか？
• RQ3 出力間の異なる依存構造が、多変量と単変量モデルの相対的性能に与える影響は何か？
• RQ4 特にエキストラツリーにおいて、多変量と単変量の実装の実行時間特性はどのように比較されるか？
• RQ5 多変量木アンサンブルは、実世界の多出力回帰問題において一貫して予測精度を向上させることができるか？

主な発見

• 10のシミュレーション設定のうち8つで、多変量ランダムフォレストおよびエキストラツリーは単変量モデルと同等または低い平均二乗誤差（MSE）を達成しており、特にMGAM 2およびMGAM 3では顕著な改善が見られた。
• 高相関設定では、多変量ランダムフォレストが単変量RFと比較して平均MSEを最大12%まで低減した。特に出力間に依存関係がある場合に顕著であった。
• 多変量エキストラツリーは最も高速な実行時間を達成し、単変量および多変量RFを大幅に上回ったが、本研究ではネイティブに最適化されていなかった。
• 実世界のデータ例では、多変量アプローチが単変量モデルを上回る予測精度を示した。特にエキストラツリーでは、単変量GUIDEと比較してMSEの合計が5.94%低減した。
• 出力相関は、多変量ランダムフォレストの性能に強く正の影響を与えたが、単変量モデルや他の手法にはほとんど影響を及ぼさなかった。
• 複雑な依存構造を有する設定では、多変量アプローチに一貫した利点が見られた一方、2つの特定のMGAM（MGAM 2およびMGAM 3）では単変量モデルがわずかに優れていた。