[논문 리뷰] Dual Interpretation of Machine Learning Forecasts

Philippe Goulet Coulombe, Maximilian Goebel외 1명|arXiv (Cornell University)|2024. 12. 17.

Energy Load and Power Forecasting인용 수 4

한 줄 요약

이 논문은 거시경제학에서의 기계학습 예측에 대한 이중 해석 프레임워크를 제안하며, 유사도 기반 가중치를 사용하여 샘플 외 예측을 개별 역사적 학습 관측치의 기여도로 분해한다. 이러한 가중치를 데이터 포트폴리오의 투자 비중로 간주함으로써, 예측의 주요 원인을 역사적 유사 사례로 직관적으로 시각화할 수 있고, 예측 집중도 및 전환도와 같은 새로운 진단 지표를 도입한다. 이는 팬데믹 이후의 인플레이션 및 경기침체 예측과 같은 저표본, 고차원 설정에서 강력한 해석 가능성 향상을 보여준다.

ABSTRACT

Machine learning predictions are typically interpreted as the sum of contributions of predictors. Yet, each out-of-sample prediction can also be expressed as a linear combination of in-sample values of the predicted variable, with weights corresponding to pairwise proximity scores between current and past economic events. While this dual route leads nowhere in some contexts (e.g., large cross-sectional datasets), it provides sparser interpretations in settings with many regressors and little training data-like macroeconomic forecasting. In this case, the sequence of contributions can be visualized as a time series, allowing analysts to explain predictions as quantifiable combinations of historical analogies. Moreover, the weights can be viewed as those of a data portfolio, inspiring new diagnostic measures such as forecast concentration, short position, and turnover. We show how weights can be retrieved seamlessly for (kernel) ridge regression, random forest, boosted trees, and neural networks. Then, we apply these tools to analyze post-pandemic forecasts of inflation, GDP growth, and recession probabilities. In all cases, the approach opens the black box from a new angle and demonstrates how machine learning models leverage history partly repeating itself.

연구 동기 및 목표

• 고차원 거시경제학 예측에서 전통적인 특성 기반 해석이 공선성과 희박성로 인해 무너지는 상황에서의 해석 가능성 문제를 해결하기 위해.
• 특성 기여도를 넘어서는 이중 해석 경로를 제안하기 위해, 현재 예측을 모델이 학습 관측치와의 유사도를 기반으로 가중치를 부여한 내재된 목표값의 선형 조합으로 표현하기 위해.
• 예측의 주요 원인을 시간에 따라 변화하는 역사를 기반으로 한 기여도의 시계열로 시각화함으로써 서사적이고 정책적으로 관련성이 있는 해석을 가능하게 하기 위해.
• 예측 안정성과 리스크를 진단하기 위해 금융 포트폴리오에서 영감을 얻은 지표(예: 집중도, 전환도, 공매도 포osition)를 도입하기 위해.
• 이 방법이 리지 회귀, 랜덤 포레스트, 부스팅 트리, 선형 출력층을 가진 신경망을 포함한 다양한 기계학습 모델에 적용 가능함을 보여주기 위해.

제안 방법

• 이 방법은 정규화된 최소 제곱 문제의 이중 해법을 활용하여, 샘플 외 예측을 역사적 목표값의 가중합으로 표현하며, 현재 데이터 포인트와 과거 데이터 포인트 간의 쌍별 유사도 점수로부터 유도된 가중치를 사용한다.
• (커널) 리지 회귀의 경우, 행렬 역행렬 보조정 공식을 통해 이중 해법에서 직접 유사도 가중치를 복원할 수 있어 재학습 없이 정확한 분해가 가능하다.
• 선형 출력층을 가진 신경망의 경우, 최종 레이어 최적화를 은닉층 활성화에 대한 정규화된 선형 회귀 문제로 재구성함으로써, 동일한 리지 회귀 기반 기법을 통해 유사도 가중치를 계산할 수 있다.
• 나무 기반 모델(예: 랜덤 포레스트, XGBoost)의 경우, 개별 트리의 기여도에 대한 앙상블 평균 및 보정 연산을 통해 유사도 가중치를 유도하며, 이는 특징 공간의 암묵적 분할을 활용한다.
• 이론적 기반은 표현 정리(representer theorem)에 기반하며, 이는 재생 커널 힐버트 공간 내의 임의의 해가 학습 포인트에서 평가된 커널 함수의 유한한 선형 조합으로 표현될 수 있음을 보장함으로써 이중 표현을 가능하게 한다.
• 이 방법은 GitHub에 공개된 R 코드로 구현되었으며, 1961~2019년의 팬데믹 이후 데이터를 활용해 인플레이션, GDP 성장률, 경기침체 확률 예측에 적용되었다.

실험 결과

연구 질문

• RQ1 기계학습 예측을 특성 기여도 외에도 과거 데이터 포인트와의 유사도 기반 역사를 기반으로 한 유사 사례로 해석할 수 있는가?
• RQ2 예측자가 많고 학습 관측치가 적은 설정에서, 과거 결과의 가중 조합으로 표현된 예측이 해석 가능성과 진단적 통찰을 향상시키는가?
• RQ3 리지 회귀를 넘어서 신경망과 트리 앙상블 같은 다양한 기계학습 모델에 대해 체계적으로 유사도 기반 가중치를 복원할 수 있는가?
• RQ4 예측 집중도, 전환도, 공매도 포지션과 같은 포트폴리오 스타일 지표가 거시경제학에서의 기계학습 예측의 해석과 평가를 어떻게 향상시키는가?
• RQ5 다양한 모델(KRR, RF, NN 등)이 팬데믹 이후 경제 결과를 예측할 때 유사한 역사를 기반으로 한 유사 사례를 공유하는가?

주요 결과

• 이중 해석 방법은 예측을 개별 역사적 관측치의 기여도로 성공적으로 분해하며, 유사도 가중치가 현재 조건과 과거 경제 사건 간의 명확한 서사적 연결 고리를 제공한다.
• 커널 리지 회귀의 경우, 이중 해법에서 직접 유사도 가중치를 확보할 수 있어 추가 계산 없이 정확하고 효율적인 해석이 가능하다.
• 선형 출력층을 가진 신경망은 최종 레이어를 은닉 활성화에 대한 리지 회귀 문제로 재구성함으로써 유사도 가중치를 정확히 복원할 수 있으며, 이로 인해 해석 가능성도 유지된다.
• 랜덤 포레스트나 부스팅 트리와 같은 나무 기반 모델은 개별 트리의 기여도를 앙상블 수준에서 보정함으로써 유사도 가중치 기반 해석이 가능하며, 이는 원래 유사도 행렬을 직접 출력하지는 않지만 가능하다.
• 팬데믹 이후의 경기침체 예측에서 KRR, RF, NN 모델은 초기 1990년대와 2000년대의 경기침체를 핵심적인 유사 사례로 동일하게 식별한다. 특히 KRR는 이중 경기침체에 강한 유사도를 보이며 2023년 8월에 89%의 높은 위험을 예측하여 경고 수준의 결과를 도출한다.
• 이 방법은 YC의 예측이 양의 경기침체 기여도와 음의 확장 기여도의 병합 효과로 상승하는 기여 경로를 보이며, 반면 RF는 0-1 인코딩에서 공매도 포지션이 없기 때문에 더 평탄한 기여 경로를 보인다.