[論文レビュー] Opening the black box of neural nets: case studies in stop/top discrimination

Thomas Roxlo, Matthew Reece|arXiv (Cornell University)|Apr 24, 2018

Computational Physics and Python Applications参考文献 94被引用数 29

ひとこと要約

本論文では、特定のニューロンを最大に活性化する人工イベントを生成することで、素粒子物理学における深層ニューラルネットワーク（DNN）の解釈手法を提案している。この手法により、意思決定境界の可視化と人間が読めるルールの抽出が可能となり、ストップ/トップの識別に応用した結果、mT2のような既知の物理学的変数に加え、特に軽量のストップやスティール信号のような困難な状況において、新たな角度関係が学習されていることが明らかになった。

ABSTRACT

We introduce techniques for exploring the functionality of a neural network and extracting simple, human-readable approximations to its performance. By performing gradient ascent on the input space of the network, we are able to produce large populations of artificial events which strongly excite a given classifier. By studying the populations of these events, we then directly produce what are essentially contour maps of the network's classification function. Combined with a suite of tools for identifying the input dimensions deemed most important by the network, we can utilize these maps to efficiently interpret the dominant criteria by which the network makes its classification. As a test case, we study networks trained to discriminate supersymmetric stop production in the dilepton channel from Standard Model backgrounds. In the case of a heavy stop decaying to a light neutralino, we find individual neurons with large mutual information with $m_{T2}^{\ell\ell}$, a human-designed variable for optimizing the analysis. The network selects events with significant missing $p_T$ oriented azimuthally away from both leptons, efficiently rejecting $t\overline{t}$ background. In the case of a light stop with three-body decays to $Wb{\widetilde χ}$ and little phase space, we find neurons that smoothly interpolate between a similar top-rejection strategy and an ISR-tagging strategy allowing for more missing momentum. We also find that a neural network trained on a stealth stop parameter point learns novel angular correlations.

研究の動機と目的

• 高エネルギー物理学における深層ニューラルネットワーク（DNN）の解釈可能性の課題に取り組む。DNNは高い性能を示すが、その動作は『ブラックボックス』的である。
• 事前に定義された物理学的変数に依存せずに、学習済みDNNから人間が読める、物理的に解釈可能な意思決定ルールを体系的に抽出する手法を開発する。
• DNNが、標準模型（SM）のバックグラウンドから超対称的ストップ信号を識別する方法を、従来の物理学駆動型の変数や戦略と比較する。
• DNNが、複雑なイベントトポロジーにおいて、単に既知の物理学的手法を再現するのではなく、新しい非自明な相関関係を発見するかを調査する。
• 異なる最終状態や質量スペクトルを想定したストップ崩壊の事例研究を用いて、解釈手法の妥当性を検証する。特に挑戦的な『スティール』状況を含む。

提案手法

• 学習済みDNNの各ニューロンを最大に活性化するような入力空間における勾配上昇法を実行し、多数の人工イベントを生成する。
• これらの活性化最大化イベントの入力変数から多次元ヒストグラムを構築し、各ニューロンを活性化させる入力空間の領域を可視化する。
• 変更済みDBSCANアルゴリズムを用いて、ヒストグラム内のクラスタ（または「島」）を特定する。内部クラスタと境界クラスタを区別し、極値となる入力値を示す。
• 各識別クラスタに対して多項式関数（内部クラスタは2次関数、境界クラスタは交差項付き線形関数）を用い、シグモイド活性化関数を介してバイナリ指標をモデル化する。
• これらのクラスタモデルを線形重ね合わせとして組み合わせ、L1正則化付き勾配降下法を用いて、ニューロンの活性化を近似する簡潔で解釈可能な「洞窟住人変数（caveman variable）」を生成する。
• これらの洞窟住人変数を用いて、ネットワークの意思決定論理を既知の物理学的変数と直接比較し、その識別性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 DNNがストップ信号とSMバックグラウンドを識別するように学習した後でも、人間が読める解釈可能な意思決定ルールを抽出できるか？
• RQ2 DNNはmT2^ℓℓのような既知の物理学的変数を学習するのか、それともより効果的で新しい識別子を発見するのか？
• RQ3 軽量ストップ（3体崩壊）やスティールストップ（可視崩壊生成物なし）のような挑戦的なストップ状況では、DNNはどのように対処するか？
• RQ4 強いフェーズスペース抑制や顕著なトポロジーがない状況下で、DNNはどのような角度的・運動量的相関関係を学習するのか？
• RQ5 ネットワークが学習した特徴は、従来の物理学的動機付けに基づく分析戦略とどれほど一致するか、あるいはそれからどれほど逸脱するか？

主な発見

• 重いストップのケースでは、ネットワークが両レプトンから離れる方向に大きな欠落運動量（pT）を持つイベントを優先的に選別しており、mT2^ℓℓ変数と非常に類似した挙動を示している。
• 3体崩壊でフェーズスペースが限られる軽量ストップの場合、ネットワークはトップ粒子の排除戦略とISRタグギング戦略の間を滑らかに補間し、欠落運動量への感受性を高めている。
• スティールストップの状況では、2つのレプトンと欠落運動量の間で、従来の変数では捉えきれない新しい非自明な角度相関関係が学習されている。
• この手法により、顕著な識別性能を維持する「洞窟住人変数」が成功裏に生成された。妥当性テストでは、元のニューロン活性化と強い一致を示した。
• ニューロン同士の相互情報量がmT2^ℓℓと高く、ネットワークがデータ駆動的に既知の効果的な物理学的変数を学習していることが確認された。
• 活性化最大化技術により、ネットワークの意思決定境界が単一の観測量に対する単純なしきい値処理ではなく、複雑な多変数相関によって形作られていることが明らかになった。