[論文レビュー] A Locally Adaptive Interpretable Regression

Lkhagvadorj Munkhdalai, Tsendsuren Munkhdalai+1 more|arXiv (Cornell University)|May 7, 2020

Explainable Artificial Intelligence (XAI)参考文献 18被引用数 5

ひとこと要約

この論文では、線形回帰の性能を向上させるために、深層ニューラルネットワークメタラーナーを用いて回帰係数のガウス分布の臨界値を予測する、局所的に適応可能な解釈可能な回帰モデルLoAIRを提案する。この手法により、信頼区間を考慮した迅速な係数の適応が可能となり、予測性能が標準的OLSおよび最先端のベースラインを上回りながらも、解釈可能性を維持する。実際のデータにおいて、二酸化炭素排出量とGNPの間の放物線的関係を解明したことが実証された。

ABSTRACT

Machine learning models with both good predictability and high interpretability are crucial for decision support systems. Linear regression is one of the most interpretable prediction models. However, the linearity in a simple linear regression worsens its predictability. In this work, we introduce a locally adaptive interpretable regression (LoAIR). In LoAIR, a metamodel parameterized by neural networks predicts percentile of a Gaussian distribution for the regression coefficients for a rapid adaptation. Our experimental results on public benchmark datasets show that our model not only achieves comparable or better predictive performance than the other state-of-the-art baselines but also discovers some interesting relationships between input and target variables such as a parabolic relationship between CO2 emissions and Gross National Product (GNP). Therefore, LoAIR is a step towards bridging the gap between econometrics, statistics, and machine learning by improving the predictive ability of linear regression without depreciating its interpretability.

研究の動機と目的

• 線形回帰における予測精度と解釈可能性のトレードオフを解消すること。
• モデルの透明性を損なわず、局所的に回帰係数を適応させる手法を開発すること。
• 深層ニューラルネットワークを用いて、信頼区間制約のもとで迅速かつ効果的な係数の適応を可能とすること。
• 実世界のデータにおいて非線形関係を解明しつつ、解釈可能性を維持すること。
• 経済統計学、統計学、機械学習の分野のギャップを、ハイブリッド型の解釈可能なモデルによって埋めること。

提案手法

• 深層ニューラルネットワークに基づくメタラーナーが、各回帰係数についてガウス分布からの百分位数値を予測する。
• メタラーナーはOLSからの標準誤差を用いて、係数をその信頼区間内に適応させる。
• 適応された係数は、不偏性と解釈可能性を保ったまま、新たな回帰式に再構成される。
• 係数の更新を統計的有意性の境界に制限することにより、過学習を回避する。
• このフレームワークにより、訓練データセット全体を保存せずに、局所的かつインスタンス固有の適応が可能となる。
• モデルはエンドツーエンドで学習され、メタラーナーは入力特徴に基づいて係数を調整する方法を学習する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングフレームワークは、解釈可能性を失わず、線形回帰の予測性能を向上させることができるか？
• RQ2 このモデルは、実世界のデータにおける環境Kuznets曲線のような非線形関係をどれほど正確に同定できるか？
• RQ3 局所的に適応可能な係数機構は、標準的OLSおよび深層学習ベースラインと比較して、RMSEと解釈可能性の両面で優れているか？
• RQ4 このモデルは、入力変数と目的変数の間の放物線的関係を効果的に捉え、表現できるか？
• RQ5 メタラーナーは、多様な回帰ベンチマークにおいて、一般化性能をどの程度向上させるか？

主な発見

• LoAIRは10個の公開データセットにおいて、最先端のベースラインと同等またはそれ以上の予測性能を達成し、RMSE値は常にOLSや深層学習モデルと同等またはそれを下回った。
• 二酸化炭素排出量とGNPのデータセットにおいて、LoAIRは線形項を用いた場合RMSEが0.591、二次項を含めた場合が0.593であり、OLS（0.607および0.598）をわずかに上回った。
• モデルは、二酸化炭素排出量とGNPの間の放物線的関係を成功裏に特定し、環境Kuznets曲線仮説と整合的であった。
• 可視化結果から、GNPが約9.16の水準に達した際に排出量がピークに達する放物線的トレンドが明確に確認された。
• 二次項の導入により、OLSの決定係数R-squaredは0.839から0.85に向上したが、LoAIRはこの非線形パターンを捉えつつも、高い解釈可能性を維持した。
• LoAIRは、メタラーニングによる係数適応によって、解釈可能性と予測力の両方を同時に向上させられることを示した。