[논문 리뷰] A Locally Adaptive Interpretable Regression

Lkhagvadorj Munkhdalai, Tsendsuren Munkhdalai외 1명|arXiv (Cornell University)|2020. 05. 07.

Explainable Artificial Intelligence (XAI)참고 문헌 18인용 수 5

한 줄 요약

이 논문은 국소적으로 적응 가능한 해석 가능한 회귀 모델인 LoAIR를 제안한다. 이 모델은 선형 회귀를 향상시키기 위해 깊이 있는 신경망 메타러닝 기반의 방법을 사용하여 회귀 계수에 대한 정규분포 임계값을 예측함으로써 신속하고 신뢰구간을 고려한 적응을 가능하게 한다. 이 방법은 표준 OLS 및 최첨단 기준 모델보다 예측 성능을 향상시키면서도 투명성을 유지하며, CO2 배출량과 GNP 사이의 포물선 관계를 드러내는 데 성공했다.

ABSTRACT

Machine learning models with both good predictability and high interpretability are crucial for decision support systems. Linear regression is one of the most interpretable prediction models. However, the linearity in a simple linear regression worsens its predictability. In this work, we introduce a locally adaptive interpretable regression (LoAIR). In LoAIR, a metamodel parameterized by neural networks predicts percentile of a Gaussian distribution for the regression coefficients for a rapid adaptation. Our experimental results on public benchmark datasets show that our model not only achieves comparable or better predictive performance than the other state-of-the-art baselines but also discovers some interesting relationships between input and target variables such as a parabolic relationship between CO2 emissions and Gross National Product (GNP). Therefore, LoAIR is a step towards bridging the gap between econometrics, statistics, and machine learning by improving the predictive ability of linear regression without depreciating its interpretability.

연구 동기 및 목표

• 선형 회귀에서 예측 정확도와 해석 가능성 간의 상충 관계를 해결하기 위해.
• 모델의 투명성을 훼손하지 않으면서 국소적으로 회귀 계수를 적응시키는 방법을 개발하기 위해.
• 깊이 있는 신경망을 활용하여 빠르고 신뢰구간 제약을 고려한 계수 적응을 실현하기 위해.
• 실세계 데이터에서 비선형 관계를 발견하면서도 해석 가능성을 유지하기 위해.
• 경제학, 통계학, 기계학습 간 격차를 해소하기 위해 하이브리드 해석 가능한 모델을 구축하기 위해.

제안 방법

• 깊이 있는 신경망 기반의 메타러닝 기반 모델이 각 회귀 계수에 대해 정규분포의 백분율 값을 예측한다.
• 메타러닝 기반 모델은 OLS에서 산출한 표준오차를 사용하여 계수를 그들의 신뢰구간 내에서 적응시킨다.
• 적응된 계수는 해석 가능성과 비편향성을 유지하면서 새로운 회귀 방정식으로 재구성된다.
• 계수 업데이트를 통계적 유의성의 범위로 제한함으로써 과적합을 방지한다.
• 프레임워크는 전체 학습 데이터셋을 저장하지 않아도 되는 국소적이고 인스턴스별 적응을 가능하게 한다.
• 모델은 엔드 투 엔드로 학습되며, 메타러닝 기반 모델은 입력 특징에 기반해 계수 조정을 학습한다.

실험 결과

연구 질문

• RQ1 메타러닝 기반 프레임워크는 해석 가능성 손실 없이 선형 회귀의 예측 성능을 향상시킬 수 있는가?
• RQ2 모델은 실세계 데이터에서 환경 Kuznets 곡선과 같은 비선형 관계를 얼마나 잘 발견할 수 있는가?
• RQ3 국소 적응형 계수 메커니즘이 RMSE와 해석 가능성 측면에서 표준 OLS 및 딥러닝 기준 모델보다 뛰어나게 성능을 발휘하는가?
• RQ4 모델은 입력 변수와 타겟 변수 간의 포물선 관계를 효과적으로 포착하고 표현할 수 있는가?
• RQ5 메타러닝 기반 모델은 다양한 회귀 벤치마크에서 일반화 성능을 얼마나 향상시키는가?

주요 결과

• LoAIR는 10개의 공개 데이터셋에서 최첨단 기준 모델과 비교해 유사하거나 더 나은 예측 성능을 기록했으며, RMSE 값은 항상 OLS 및 딥러닝 모델과 유사하거나 이를 뛰어넘었다.
• CO2 배출량과 GNP 데이터셋에서 LoAIR는 선형 항을 사용할 경우 RMSE가 0.591로, 제곱항을 포함할 경우 0.593을 기록했으며, 이는 OLS(각각 0.607 및 0.598)를 약간 뛰어넘는 성능이었다.
• 모델은 CO2 배출량과 GNP 간의 포물선 관계를 성공적으로 드러내었으며, 이는 환경 Kuznets 곡선 가설과 일치했다.
• 시각화 결과, GNP가 약 9.16 수준일 때 CO2 배출량이 최고조에 이르는 포물선 추세를 보였다.
• 제곱항을 포함함으로써 OLS의 R-squared 값은 0.839에서 0.850으로 향상되었으며, LoAIR는 이 비선형 패턴을 포착하면서도 높은 해석 가능성을 유지했다.
• LoAIR는 메타러닝 기반 계수 적응을 통해 해석 가능성과 예측 성능를 동시에 향상시킬 수 있음을 입증했다.