[論文レビュー] Neural Basis Models for Interpretability

Filip Radenović, Abhimanyu Dubey+1 more|arXiv (Cornell University)|May 27, 2022

Explainable Artificial Intelligence (XAI)被引用数 13

ひとこと要約

この論文は、特徴の形状関数を共有される深層ニューラルネットワークで学習された基底関数として表現する、一般化加法モデル（GAMs）の新規な家族、ニューラルベースモデル（NBM）を導入する。各特徴の寄与を少数の共有基底関数の線形結合として分解することで、NBMは最先端の精度、モデル効率、スループットを達成する。NAM や EBM などの先行する GAMs よりもパラメータ数を 5×–50× 減少させ、スループットを 4×–7× 向上させ、特に高次元およびスパースなデータセットにおいて顕著である。

ABSTRACT

Due to the widespread use of complex machine learning models in real-world applications, it is becoming critical to explain model predictions. However, these models are typically black-box deep neural networks, explained post-hoc via methods with known faithfulness limitations. Generalized Additive Models (GAMs) are an inherently interpretable class of models that address this limitation by learning a non-linear shape function for each feature separately, followed by a linear model on top. However, these models are typically difficult to train, require numerous parameters, and are difficult to scale. We propose an entirely new subfamily of GAMs that utilizes basis decomposition of shape functions. A small number of basis functions are shared among all features, and are learned jointly for a given task, thus making our model scale much better to large-scale data with high-dimensional features, especially when features are sparse. We propose an architecture denoted as the Neural Basis Model (NBM) which uses a single neural network to learn these bases. On a variety of tabular and image datasets, we demonstrate that for interpretable machine learning, NBMs are the state-of-the-art in accuracy, model size, and, throughput and can easily model all higher-order feature interactions. Source code is available at https://github.com/facebookresearch/nbm-spam.

研究の動機と目的

• NAM や EBM のような本質的に解釈可能なモデルが、各特徴ごとに高パラメータ数を要するというスケーラビリティとパラメータ効率の制限を克服すること。
• 特徴間で共有される基底関数を学習することで、複雑で高次元のデータ、特にスパースな特徴の忠実で解釈可能なモデリングを可能にすること。
• 基底関数の分解と深層学習を用いることで、GAM の解釈可能性を維持しつつ、モデルサイズと推論時間を顕著に削減すること。
• GA2M や NA2M のように、パラメータ数が二次関数的に増加するのを避けることにより、高次元の特徴相互作用を効率的に扱えるようにすること。
• 深層学習パイプラインにスムーズに統合できる、スケーラブルで微分可能かつ GPU 友好的なアーキテクチャを提供すること。

提案手法

• 各特徴の形状関数を、1つの深層ニューラルネットワークによって同時に学習される少数の共有基底関数の線形結合として表現する、GAM の新しいサブファミリを提案する。
• 1つのニューラルネットワークを用いて基底関数を学習し、GPU 上でのミニバッチ確率的勾配降下法によるエンドツーエンド学習を可能にする。
• 信号処理（例：フーリエ、レジェンドル）に由来する基底分解を採用するが、固定関数ではなく、タスク固有に学習される基底関数を用いる。
• 追加の共有基底関数を用いてペairワイズ相互作用をモデル化する拡張を実施し、パラメータ数の線形増加により高次元相互作用を効率的に扱えるようにする。
• 入力次元に対して基底数が対数的である場合に一般化性能が保証されるように、ラデマッハ複雑度を用いた一般化バウンドを適用する。
• 近似誤差に理論的保証を付与するため、経験的リスクと正則化を組み合わせた損失関数を用いる。

実験結果

リサーチクエスチョン

• RQ1 特徴間で共有される基底関数を用いることで、精度を損なわずにパラメータ数を削減し、解釈可能なモデルのスケーラビリティを向上させられるか？
• RQ2 1つの深層ニューラルネットワークが、多様な特徴とタスクに一般化可能な基底関数を効果的に学習できるか？
• RQ3 高次元およびスパースなデータセットにおいて、NBM は NAM や EBM といった最先端の GAMs と比較して、精度、モデルサイズ、スループットで優れているか？
• RQ4 GA2M や NA2M のように、パラメータ数が二次関数的に増加するのを避けて、高次元相互作用を効率的に捉えられるか？
• RQ5 学習されたタスク固有の基底関数を用いることで、固定基底関数や個別特徴モデルと比較して、一般化性能と忠実性が向上するか？

主な発見

• 表形式および画像データセットにおいて、NBM は精度、モデルサイズ、推論スループットの点で最先端のパフォーマンスを達成し、NAM や EBM を上回る。
• 10個以上の特徴を含むデータセットでは、NBM は NAM よりもパラメータ数を 5× から 50× 減少させ、スケーラビリティを顕著に向上させる。
• NBM は NAM よりもスループットを 4× から 7× 向上させ、リアルタイムおよび大規模な展開に適している。
• ペアワイズ基底関数への拡張により、GA2M や NA2M と異なり、パラメータ数の線形増加で高次元相互作用を効果的に捉えることができる。
• 理論的分析により、近似誤差が基底数の増加に伴い指数関数的に減少することが示され、入力次元に対して対数的増加の基底数で十分な性能が得られると示唆される。
• 10万個以上の特徴を含むスパースなデータセットにおいても、NBM は他の GAMs が失敗する中で効果的にスケーリングでき、産業規模の応用における実用的価値を示している。