[論文レビュー] An Attention Based Neural Network for Jet Tagging

Jing Li, Hao Sun|arXiv (Cornell University)|Sep 1, 2020

Advanced Image Processing Techniques被引用数 7

ひとこと要約

本稿では、平均信号ジェット画像とバックグラウンドジェット画像をクエリとして用いて注目マップを生成することで解釈可能性を向上させる注目ベースのニューラルネットワーク（ABNN）を提案する。ABNNは分類精度とバックグラウンド排除性能において標準的なCNNを上回り、可視化により信号ジェットではサブジェット領域に注目する一方で、QCDバックグラウンドではそれらを避けることが示され、注目誘導型特徴抽出による特徴の区別性能の向上が裏付けられる。

ABSTRACT

Convolutional neural networks are basic structures using jet images as input for the jet tagging problems. However, what they have learned during the training process is always difficult to understand just through feature maps. Inspired by the attention mechanism popular in machine learning fields, we propose a novel attention-based neural network (ABNN) to get insight of this problem. The ABNN combines a jet image with average jet images from the signal and the background to generate attention maps which show clearly the relevant importance according to the different origination of jets. Compared with networks in the similar architecture, this network achieves better performance, which indicates the potential of attention mechanism to use in other works.

研究の動機と目的

• 分類に寄与する画像領域が特徴マップだけでは特定できない、ジェットタギングに用いられる畳み込みニューラルネットワーク（CNN）における解釈可能性の欠如に対処すること。
• 太いジェット内の関連する部分構造特徴を強調する注目メカニズムを統合することで、ジェットタギングの性能を向上させること。
• 平均信号ジェット画像およびバックグラウンドジェット画像から導出される注目マップを可視化することで、ネットワークがジェットをどのように分類しているかの洞察を提供すること。
• 注目計算に用いる平均ジェット画像の数を変化させた場合の、ABNNアーキテクチャのロバストネスと性能を評価すること。

提案手法

• ABNNは、入力ジェット画像および信号・バックグラウンドクラスからの平均ジェット画像の両方の特徴抽出に、別々のスタックドCNNを用いる。
• 入力ジェット画像の途中特徴マップと平均ジェット画像の特徴マップの間の適合スコアを計算することで、注目マップを生成する。
• 注目メカニズムでは、平均信号ジェット画像をクエリとして用い、サブジェット領域に注目を向ける。一方、平均バックグラウンド画像は、サブジェット領域の抑制を目的とする。
• 入力ジェット画像の特徴マップに注目スコアを重み付けすることで、関連する領域を強調し、不関係な領域を弱体化させる。
• 注目された特徴に対して全結合層を用いて最終的な分類を実行し、注目マップの正規化を施して解釈可能性を向上させる。
• 標準CNN（注目機能なしを含む）と比較してABNNのベンチマークを実施し、異なる数の平均ジェット画像を用いたアブレーションスタディも実施する。

実験結果

リサーチクエスチョン

• RQ1 注目メカニズムを用いることで、太いジェット内の関連する部分構造特徴を強調することで、ジェットタギングモデルの解釈可能性が向上するか？
• RQ2 平均信号およびバックグラウンドジェット画像をクエリとして用いることで、注目マップの生成と分類性能にどのような影響を与えるか？
• RQ3 平均ジェット画像の数を変化させた場合、注目メカニズムがロバストネスと一般化性能を向上させるか？
• RQ4 特にバックグラウンド排除性能と精度の観点から、注目機能なしの標準CNNと比較してABNNは性能に優れているか？

主な発見

• ABNNは、標準CNNと比較して優れた分類精度とバックグラウンド排除性能を達成しており、ジェットタギングにおける注目メカニズムの有効性が裏付けられる。
• 注目マップの可視化により、信号の平均ジェット画像をクエリとして用いた場合、ネットワークがサブジェット領域に注目していることが示された。一方、バックグラウンドの平均画像をクエリとして用いた場合、これらの領域は無視されている。
• 注目メカニズムにより、信号とバックグラウンドの両方のジェットにサブジェットが存在する場合でも、信号ではサブジェット特徴を強調し、バックグラウンドではそれらを抑制することで、微細な差を区別できる。
• ABNNは、注目計算に用いる平均ジェット画像の数が変化しても一貫した性能を維持しており、平均画像推定における統計的ゆらぎに対してロバストであることが示された。
• 一方、注目機能なしの標準CNNは、平均画像の数が増加するにつれて性能が低下する傾向にあり、注目メカニズムの安定化効果が顕著に現れている。