[論文レビュー] Dual Interpretation of Machine Learning Forecasts

Philippe Goulet Coulombe, Maximilian Goebel+1 more|arXiv (Cornell University)|Dec 17, 2024

Energy Load and Power Forecasting被引用数 4

ひとこと要約

本稿は、マクロ経済学における機械学習予測のための二重解釈フレームワークを導入し、現在の予測を、訓練データ点との類似度に基づく重みを用いて個々の歴史的訓練観測値の寄与に分解する。これらの重みをデータ・ポートフォリオのヘッジとして扱うことで、予測の駆動要因を歴史的類似事例として直感的に可視化でき、予測の集中度や転換度といった新たな診断指標を導入する。特にパンデミック後におけるインフレおよび不況予測という低サンプル・ハイドゥメンションの設定において、解釈性の大幅な向上を示している。

ABSTRACT

Machine learning predictions are typically interpreted as the sum of contributions of predictors. Yet, each out-of-sample prediction can also be expressed as a linear combination of in-sample values of the predicted variable, with weights corresponding to pairwise proximity scores between current and past economic events. While this dual route leads nowhere in some contexts (e.g., large cross-sectional datasets), it provides sparser interpretations in settings with many regressors and little training data-like macroeconomic forecasting. In this case, the sequence of contributions can be visualized as a time series, allowing analysts to explain predictions as quantifiable combinations of historical analogies. Moreover, the weights can be viewed as those of a data portfolio, inspiring new diagnostic measures such as forecast concentration, short position, and turnover. We show how weights can be retrieved seamlessly for (kernel) ridge regression, random forest, boosted trees, and neural networks. Then, we apply these tools to analyze post-pandemic forecasts of inflation, GDP growth, and recession probabilities. In all cases, the approach opens the black box from a new angle and demonstrates how machine learning models leverage history partly repeating itself.

研究の動機と目的

• 特徴量ベースの解釈が共線性やスパarsityのため機能不全を起こす高次元マクロ経済予測における解釈性の課題に対処すること。
• 特徴量の寄与を超えた二重の解釈ルートを提案すること。具体的には、モデルが訓練観測点との類似度を認識するとおりに、予測をインサンプルの目的変数値の重み付き線形結合として表現すること。
• 予測の駆動要因を時間的系列としての歴史的寄与度として可視化し、物語的かつ政策関連の解釈性を高めること。
• 金融ポートフォリオにインspiredされた指標（例：集中度、転換度、空売りポジション）を導入し、予測の安定性とリスクを診断すること。
• 本手法が、リッジ回帰、ランダムフォレスト、ブースティング木、線形出力層を備えたニューラルネットワークを含む多様な機械学習モデルに適用可能であることを示すこと。

提案手法

• 本手法は、正則化最小二乗問題の二重解を活用し、アウトオブサンプル予測を、現在のデータ点と過去のデータ点との間の類似度スコアに基づく重み付き和として表現する。
• （カーネル）リッジ回帰では、マトリクス逆行列補題を用いて二重解から直接類似度重みを復元可能であり、再訓練を伴わず正確かつ効率的な解釈が可能である。
• 線形出力層を備えたニューラルネットワークでは、最終層の最適化を、隠れ層活性化値上の正則化線形回帰として再定式化することで、類似度重みを同じリッジ回帰の枠組みで計算可能となる。
• 木ベースのモデル（例：ランダムフォレスト、XGBoost）では、個々の木の寄与をアンサンブル平均化および集計処理することで類似度重みを導出する。これは特徴空間の暗黙的分割を利用している。
• REPRESER THEOREMが本アプローチを裏付け、再生核ヒルベルト空間内での任意の解が、訓練点におけるカーネル関数の有限線形結合として表現可能であることを保証し、二重表現の可能性を実現する。
• 本手法はGitHubで公開されたRコードを用いて実装され、1961年から2019年までのパンデミック後データを用いてインフレ、GDP成長率、不況確率の予測に応用されている。

実験結果

リサーチクエスチョン

• RQ1 機械学習予測は、特徴量の寄与に加え、過去のデータ点との類似度に基づく歴史的類似事例によってもどのように解釈可能になるか？
• RQ2 予測変数が多く、訓練観測数が少ない状況下で、予測を歴史的結果の重み付き組み合わせとして表現することで、解釈性および診断的インサイトが向上するか？
• RQ3 線形モデルにとどまらず、ニューラルネットワークや木アンサンブルのような多様な機械学習モデルに対しても、類似度に基づく重みを体系的に回収可能か？
• RQ4 予測集中度、転換度、空売りポジションといったポートフォリオ的指標は、マクロ経済学における機械学習予測の解釈と評価をどのように向上させるか？
• RQ5 異なるモデル（例：KRR、RF、NN）は、パンデミック後の経済結果を予測するにあたり、類似する歴史的類似事例に到達するか、その程度はいかほどか？

主な発見

• 二重解釈手法は、類似度重みが現在の経済状況と過去の経済出来事の間の明確な物語的つながりを提供する形で、個々の歴史的観測値からの寄与に予測を正確に分解できた。
• カーネルリッジ回帰では、二重解から直接類似度重みを復元可能であり、追加計算を伴わず正確かつ効率的な解釈が可能である。
• 線形出力層を備えたニューラルネットワークでは、最終層を隠れ層活性化値上のリッジ回帰として再定式化することで、類似度重みを正確に回収可能となり、解釈性が維持された。
• ランダムフォレストやブースティング木といった木ベースのモデルでは、個々の木の寄与をアンサンブルレベルで集計処理することで、類似度重み付きの解釈が可能となったが、これらは本質的に類似度行列を出力しない。
• パンデミック後の不況予測において、KRR、RF、NNモデルは、1990年代初頭および2000年代初頭の不況を重要な類似事例として同様に特定した。特にKRRは、過去の二重不況に強く類似しているため、2023年8月に89％という非常に高いリスクを予測した。
• 本手法により、YCの予測は正の不況寄与と負の拡張寄与の両方の効果により上行の寄与度パスを示すのに対し、RFは0-1符号化における空売りポジションの不在により、より平坦なパスを示した。