[論文レビュー] Interpretable Graph Capsule Networks for Object Recognition

Jindong Gu, Volker Tresp|arXiv (Cornell University)|Dec 3, 2020

Adversarial Robustness in Machine Learning参考文献 45被引用数 6

ひとこと要約

本稿では、物体認識のための効率的で内蔵型の説明を可能にするために、グラフプーリングモジュールを用いたマルチヘッドアテンションに基づくルーティング機構に置き換えた解釈可能グラフカプセルネットワーク（GraCapsNets）を提案する。このモデルは、標準のカプセルネットワークよりも少ないパラメータで、優れた分類精度とより高い敵対的ロバストネスを達成するとともに、分離された表現を維持する。

ABSTRACT

Capsule Networks, as alternatives to Convolutional Neural Networks, have been proposed to recognize objects from images. The current literature demonstrates many advantages of CapsNets over CNNs. However, how to create explanations for individual classifications of CapsNets has not been well explored. The widely used saliency methods are mainly proposed for explaining CNN-based classifications; they create saliency map explanations by combining activation values and the corresponding gradients, e.g., Grad-CAM. These saliency methods require a specific architecture of the underlying classifiers and cannot be trivially applied to CapsNets due to the iterative routing mechanism therein. To overcome the lack of interpretability, we can either propose new post-hoc interpretation methods for CapsNets or modifying the model to have build-in explanations. In this work, we explore the latter. Specifically, we propose interpretable Graph Capsule Networks (GraCapsNets), where we replace the routing part with a multi-head attention-based Graph Pooling approach. In the proposed model, individual classification explanations can be created effectively and efficiently. Our model also demonstrates some unexpected benefits, even though it replaces the fundamental part of CapsNets. Our GraCapsNets achieve better classification performance with fewer parameters and better adversarial robustness, when compared to CapsNets. Besides, GraCapsNets also keep other advantages of CapsNets, namely, disentangled representations and affine transformation robustness.

研究の動機と目的

• カプセルネットワークにおける解釈可能性の欠如に起因する、反復的ルーティング機構のための有効な事後解釈手法の欠如を是正すること。
• アーキテクチャ内に説明可能なグラフベースのアテンション機構を統合することで、モデルの解釈性を向上させ、効率的かつ効果的な分類説明を可能にすること。
• ルーティング機構が、分離された表現やアフィン変換に対するロバストネスといったカプセルネットワークの利点をもたらすために不可欠であるかどうかを調査すること。
• モデルの複雑さを低減し、敵対的ロバストネスを向上させつつ、性能を維持または向上させるカプセルネットワークの変種を開発すること。

提案手法

• 標準の動的ルーティング機構を、主カプセル間の関係をモデル化するマルチヘッドアテンションベースのグラフプーリング操作に置き換える。
• 主カプセル（物体の部分）を、部分間の空間的または意味的関係を符号化するエッジを持つグラフのノードとして表現する。
• 学習されたアテンション重みに基づいて関連する部分特徴を集約する微分可能なグラフプーリングを用い、エンド・ツー・エンドの学習を可能にする。
• グラフプーリング層からのアテンション重みを、個々の分類意思決定のための内在的説明として活用し、外部のサリエンシー手法の必要性を排除する。
• カプセルネットワークの階層的かつアテンション駆動の特徴抽象化を維持するように、グラフプーリングモジュールをカプセルネットワークアーキテクチャに統合する。
• バックプロパゲーションを用いてエンド・ツー・エンドでモデルを学習させ、グラフアテンション機構が分類と解釈性の両方を統合されたフレームワークで提供する。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのプーリング機構は、性能を維持または向上させつつ、カプセルネットワークのルーティング機構に置き換え可能か？
• RQ2 グラフプーリングからのアテンション重みは、カプセルネットワークにおける個々の分類意思決定のための効果的で内在的な説明として機能可能か？
• RQ3 ルーティングをグラフプーリングに置き換えることで、標準のカプセルネットワークや畳み込みニューラルネットワーク（CNNs）と比較して、敵対的ロバストネスが向上するか？
• RQ4 新しいアーキテクチャにおいて、カプセルネットワークの分離された表現とアフィン変換に対するロバストネスは保持されるか？
• RQ5 提案されたモデルは、従来のカプセルネットワークよりも少ないパラメータで、より高い性能を達成可能か？

主な発見

• GraCapsNetsは、SVHNおよびCIFAR-10で標準のカプセルネットワークやCNNよりも高い分類精度を達成し、SVHNでは1.5%、CIFAR-10では2.1%の向上を示した。
• モデルは標準のカプセルネットワークよりも少ないパラメータを用いており、パラメータ効率性の向上を示した。
• GraCapsNetsは優れた敵対的ロバストネスを示した。SVHNおよびCIFAR-10において、特に0.05の摂動しきい値を持つ強力なC&W攻撃において、CNNや他のカプセルネットワークと比較して攻撃成功確率が顕著に低かった。
• 個々のカプセル活性化ベクトルの次元を摂動した結果、再構成画像に対応する解釈可能な変化が観察されたことから、分離された表現が維持されていることが示された。
• AffNISTベンチマークでは、テスト精度が80.45%で、元のカプセルネットワーク（79%）をわずかに上回り、アフィン変換に対するロバストネスが標準カプセルネットワークと同等に保たれた。
• グラフアテンションを用いた内在的説明は計算的に効率的であり、逆誤差伝搬を伴わず半分のフォワードパスで生成可能であった。これは、Grad-CAM、IG、SGの変種と比較して、速度と品質の両面で優れていた。