[論文レビュー] Explainable AI for ML jet taggers using expert variables and layerwise relevance propagation

Garvita Agarwal, L. Hay+6 more|arXiv (Cornell University)|Nov 26, 2020

Reservoir Engineering and Simulation Methods参考文献 61被引用数 18

ひとこと要約

本論文は、専門家変数（XAUG）を統合し、層別尤度プロパゲーション（LRP）を適用することで、深層ニューラルネットワーク（DNN）ジェットタッカーの性能を向上させる画期的な解釈可能AIフレームワークを提案する。中間層にXAUG変数を連結することで、分類性能が最大30–40%向上し、解釈可能な特徴の重要度順位付けが可能になる。主な結果として、単体でXAUG変数を用いることで単純な状況では分類器の挙動を完全に再現可能であり、低レベル特徴と併用することで最適な識別性能が得られ、特にAUCが0.99を超える現実的な粒子レベルモデルにおいて顕著である。

ABSTRACT

A framework is presented to extract and understand decision-making information from a deep neural network (DNN) classifier of jet substructure tagging techniques. The general method studied is to provide expert variables that augment inputs ("eXpert AUGmented" variables, or XAUG variables), then apply layerwise relevance propagation (LRP) to networks both with and without XAUG variables. The XAUG variables are concatenated with the intermediate layers after network-specific operations (such as convolution or recurrence), and used in the final layers of the network. The results of comparing networks with and without the addition of XAUG variables show that XAUG variables can be used to interpret classifier behavior, increase discrimination ability when combined with low-level features, and in some cases capture the behavior of the classifier completely. The LRP technique can be used to find relevant information the network is using, and when combined with the XAUG variables, can be used to rank features, allowing one to find a reduced set of features that capture part of the network performance. In the studies presented, adding XAUG variables to low-level DNNs increased the efficiency of classifiers by as much as 30-40\%. In addition to performance improvements, an approach to quantify numerical uncertainties in the training of these DNNs is presented.

研究の動機と目的

• 深層学習ジェットタッカーにおける解釈可能AIフレームワークの開発。特に、モデル意思決定の透明性が欠如していることが一般的な高エネルギー物理学（HEP）分野を対象とする。
• 低レベルDNN特徴と専門家由来の変数（XAUG）を統合することで、分類性能の向上を図ること。
• 層別尤度プロパゲーション（LRP）を用いてDNN意思決定の解釈可能性を高め、特徴の重要度順位付けを可能とすること。
• 複数回の学習ランのアンサンブル平均を用いて、DNN学習における数値的不確実性を定量化すること。
• XAUG変数が分類器の挙動を捉えたりガイドしたりできることを示し、複雑な低レベル特徴への依存を軽減すること。

提案手法

• 畳み込み層や再帰層の後ろに専門家変数（XAUG）を連結することで、DNNの入力を拡張する。
• 最終予測スコアを分解し、入力特徴およびXAUG変数への関連性を割り当てるために、層別尤度プロパゲーション（LRP）を適用する。
• 正規化された関連スコアを用いて特徴を順位付けし、最も影響力の高い特徴を特定することで次元削減を実現する。
• 異なるランダムシードを用いて複数のDNNインスタンスを学習し、予測値を平均化することで数値的不確実性を推定する。
• 2次元CNN、1次元CNN、1次元RNNを用いて、シミュレートされたジェットデータ（Z→bb 対 QCD）を用いて性能と解釈可能性を評価する。
• 1イベントあたり20個の粒子と17個のXAUG変数（例：ジェット質量、グルーミング、寿命、インパクトパラメータ）を用いた粒子レベルのシミュレーションを実施し、実世界への適用可能性を検証する。

実験結果

リサーチクエスチョン

• RQ1 簡略化されたモデルにおいて、XAUG変数のみで複雑なDNNジェットタッカーの意思決定を再現できるか？
• RQ2 現実的なジェット構造タスクにおいて、XAUG変数と低レベル特徴を組み合わせることで分類性能にどのような影響を与えるか？
• RQ3 LRPとXAUG変数を用いることで、DNN意思決定を駆動する最も関連性の高い特徴をどの程度まで特定・順位付けできるか？
• RQ4 LRPから得られる関連スコアを用いて、最小限の特徴セットで高い性能を達成できるような特徴セットを構築できるか？
• RQ5 アンサンブル学習とLRP解析を用いることで、DNN学習における数値的不確実性をどのように定量化・管理できるか？

主な発見

• 粒子レベルモデルにおいて、低レベルDNNにXAUG変数を追加することで分類器の効率が30–40%向上し、AUCは0.994–0.995まで向上した。
• おもちゃモデルでは、XAUG変数のみでDNNの意思決定を完全に再現可能であり、専門家変数のみを用いた多層パーセプトロンによってもネットワークの挙動を再現可能であることが示された。
• 現実的な粒子レベルモデルでは、XAUG変数と低レベル特徴の併用が最高の性能を達成し、2D CNNではAUCが0.99を超える一方、RNNでは0.975を記録した。
• LRPの関連スコアで上位5位までのXAUG変数が、全変数セットのほぼすべての識別性能を占めており、効果的な特徴削減が可能であることが示された。
• LRPの結果から、粒子レベルモデルにおいて画像入力（低レベル特徴）の関連性は単一のXAUG変数を上回っていたが、上位XAUG変数の合計関連性が画像入力の関連性を上回っており、それらの集積的意義が顕著に示された。
• 複数回の学習ランの結果から、低関連特徴への依存度のばらつきが観察され、複数のランの予測値を平均化することで、DNN学習における数値的不確実性を安定的に推定できる手法であることが示された。