[論文レビュー] Interpretable Low-Dimensional Regression via Data-Adaptive Smoothing

Wesley Tansey, Jesse Thomason+1 more|arXiv (Cornell University)|Aug 6, 2017

Statistical Methods and Inference参考文献 12被引用数 3

ひとこと要約

本稿では、最大分散ヒューリスティックを用いて特徴空間を定数値のブロックに分割し、全変動ノイズ除去を適用して平滑化する、解釈可能な低次元回帰のためのデータ適応的手法である最大分散全変動（MVTV）ノイズ除去を提案する。MVTVは、AICに基づく指標と人間による研究の両方で、CART や CRISP よりも優れた精度と解釈可能性を達成しており、予測の解釈可能性において統計的に有意な改善が確認された。

ABSTRACT

We consider the problem of estimating a regression function in the common situation where the number of features is small, where interpretability of the model is a high priority, and where simple linear or additive models fail to provide adequate performance. To address this problem, we present Maximum Variance Total Variation denoising (MVTV), an approach that is conceptually related both to CART and to the more recent CRISP algorithm, a state-of-the-art alternative method for interpretable nonlinear regression. MVTV divides the feature space into blocks of constant value and fits the value of all blocks jointly via a convex optimization routine. Our method is fully data-adaptive, in that it incorporates highly robust routines for tuning all hyperparameters automatically. We compare our approach against CART and CRISP via both a complexity-accuracy tradeoff metric and a human study, demonstrating that that MVTV is a more powerful and interpretable method.

研究の動機と目的

• 線形モデルや加法的モデルが複雑な非線形関係を捉えきれない場合に、低次元回帰で高い解釈可能性を達成する課題に対処すること。
• 特徴空間を定数値のブロックに鋭くデータ適応的に分割することで、モデルの精度と解釈可能性のバランスを図ること。
• グリッドサイズと正則化のハイパーパrameterチューニングを、データ適応的かつロバストな手続きにより自動化し、人的介入を排除すること。
• 統計的指標に加え、人間の認知的認識の研究を通しても、得られたモデルの解釈可能性を評価すること。
• 実世界のデータ、例えばオースティンの犯罪データを用いて、MVTVがCART や CRISP よりも予測精度と人間の解釈可能性の両面で優れていることを示すこと。

提案手法

• MVTVは、特徴空間に最大分散ヒューリスティックを用いてデータ適応的なグリッドを構築し、グリッド境界が潜在的な信号の顕著な変化と一致するようにする。
• この手法は、特徴空間を各ブロックに定数予測値が割り当てられるブロックに分割することで、解釈可能な区分的定数回帰を実現する。
• 凸最適化フレームワークを用いて、境界での鋭い遷移を保持しつつ予測を平滑化するため、高速な全変動ノイズ除去を適用する。
• ブロック値とグリッド構造を同時に凸問題として最適化し、空間的滑らかさを促進するためのグループ融合ラassoによる正則化を用いる。
• クロスバリデーションとソリューションパスアプローチを用いて、ハイパーパラメータ（グリッドサイズ $q$ と正則化 $ heta$）を自動的に選択し、ロバスト性を確保するとともに、人的チューニングを不要にする。
• 入力特徴をブロック予測にマッピングするスパースなバイナリセレクタ行列を活用し、ADMMを用いて効率的な最適化を実現する。初期設定の計算量は $ ilde{O}(n + q^4)$、1イテレーションあたり $ ilde{O}(q^3)$ である。

実験結果

リサーチクエスチョン

• RQ1 データ適応的かつ解釈可能な回帰手法として、MVTVは低次元設定においてCART や CRISP よりも優れた精度と解釈可能性を達成できるか？
• RQ2 グリッド構築に最大分散ヒューリスティックを用いることで、均一または分位数ベースのグリッドに比べ、特徴空間のより意味的かつ情報的な分割が得られるか？
• RQ3 クロスバリデーションによる自動的ハイパーパラメータチューニングは、人的介入を要せず、モデル性能を向上させられるか？
• RQ4 MVTVは、生データ、CART、または CRISP に比べて、予測タスクにおける人間の解釈可能性をどの程度向上させるか？
• RQ5 制御された研究において、MVTV処理済みデータを用いた場合、他の平滑化手法に比べて人間の予測精度が顕著に向上するか？

主な発見

• オースティンの犯罪データセットにおいて、MVTVはAICスコア10327.58を達成し、CART（11139.29）やCRISP（18326.33）を上回り、モデルの適合度と複雑さのバランスが優れていることを示した。
• 207名のアノテーターを対象とした人間研究において、MVTVは人間の予測誤差を2.75 × 10⁻²にまで低減し、CART（3.24 × 10⁻²）やCRISP（3.99 × 10⁻²）を有意に下回り、生データよりも優れた性能を示した。
• MVTVは、生データに対して人間の予測精度が統計的に有意に向上した唯一の手法であり、Tukeyの範囲検定によって確認された。
• CARTはデータを過剰に平滑化し、大きな均一領域を生成したため、アノテーターが均一値を予測する誤りを犯し、低分散であるにもかかわらず高い誤差を生じた。
• CRISPはデータを不十分に平滑化し、ノイズの多いパッチを生成したため、予測が困難となり、MVTVよりも人間の誤差が高くなった。
• MVTVは、局所的な詳細とグローバルな構造の両方をバランスよく捉えた、視覚的に解釈可能な柔軟な分割を生成し、オースティンの犯罪データの空間的パターンを効果的に捉えていた。