[論文レビュー] Increasing the adversarial robustness and explainability of capsule networks with $\gamma$-capsules

David Peer, Sebastian Stabinger+1 more|arXiv (Cornell University)|Dec 23, 2018

Adversarial Robustness in Machine Learning参考文献 19被引用数 7

ひとこと要約

この論文は、腹側側索皮質のTEニューロンに由来する生物学的にインspiredなインダクティブバイアスを有する、γ-カプセルネットワークという新しいカプセルネットワークアーキテクチャを紹介する。この事前知識を形式化し、スケール距離一致ルーティング（SDA）アルゴリズムを導入することで、敵対的攻撃に対する耐性が向上し、人間が理解可能な解釈性が向上する。γ-カプセルは理解しやすい、説明可能な特徴を符号化しており、強力な敵対的攻撃下でも、標準のカプセルネットワークやCNNモデルを上回ることを示している。

ABSTRACT

In this paper we introduce a new inductive bias for capsule networks and call networks that use this prior $\gamma$-capsule networks. Our inductive bias that is inspired by TE neurons of the inferior temporal cortex increases the adversarial robustness and the explainability of capsule networks. A theoretical framework with formal definitions of $\gamma$-capsule networks and metrics for evaluation are also provided. Under our framework we show that common capsule networks do not necessarily make use of this inductive bias. For this reason we introduce a novel routing algorithm and use a different training algorithm to be able to implement $\gamma$-capsule networks. We then show experimentally that $\gamma$-capsule networks are indeed more transparent and more robust against adversarial attacks than regular capsule networks.

研究の動機と目的

• 標準のカプセルネットワークにおける敵対的耐性と解釈性の欠如に対処すること。
• 腹側側索皮質の生物学的TEニューロンに由来する新しいインダクティブバイアスを形式化すること。
• γ-カプセルネットワークの構築を可能にするルーティングアルゴリズムを開発すること。
• γ-カプセルが人間が理解可能な特徴を符号化しており、直接的な解釈性を可能にすることを示すこと。
• γ-カプセルネットワークが、標準のカプセルネットワークやロバストなCNNよりも著しく敵対的攻撃に対して耐性があることを示すこと。

提案手法

• TEニューロンに由来する生物学的動機付けのインダクティブバイアスに基づいて、γ-カプセルネットワークの形式的定義を提案する。
• 上位層のカプセル活性化を考慮する新しいルーティングアルゴリズムであるスケール距離一致（SDA）を導入する。
• 敵対的訓練の下で経験的リスク最小化（ERM）を用いてγ-カプセルネットワークを訓練する。
• 個々のγ-カプセルを活性化する入力を生成する特徴可視化技術を用いて解釈性を実現する。
• インダクティブバイアスがネットワーク内で適切に強制されているかを確認するための指標を用いる。
• 再構成ネットワークを廃止し、直接的な特徴可視化を採用することで、カプセル活性化の真の原因が隠されないようにする。

実験結果

リサーチクエスチョン

• RQ1 TEニューロンに由来する生物学的にインspiredなインダクティブバイアスを、カプセルネットワークに形式化し実装可能か。また、耐性と解釈性の向上に寄与するか。
• RQ2 なぜ標準のカプセルネットワークは敵対的耐性と解釈性を達成できないのか。どのようなアーキテクチャ的変更が必要か。
• RQ3 新しいルーティングアルゴリズム（SDA）が、γ-カプセルのインダクティブバイアスを効果的に実装できるか。
• RQ4 γ-カプセルは、再構成ネットワークを介さずに、視覚的に解釈可能な特徴を符号化しているか。
• RQ5 γ-カプセルネットワークの敵対的耐性は、標準のカプセルネットワークやロバストなCNNと比較してどの程度優れているか。

主な発見

• γ-カプセルネットワークは、標準のカプセルネットワークおよび敵対的攻撃に耐性を持つように訓練されたCNNと比較して、より高い耐性を示す。
• SDAルーティングアルゴリズムは、γ-カプセルのインダクティブバイアスを効果的に実装しており、ネットワークが人間が理解可能な特徴を学習できるようにしている。
• 隠れ層のγ-カプセルは、パーカーのボディーやコートの上半身といった解釈可能なオブジェクト部品を表しており、特徴可視化によって確認された。
• 出力層のγ-カプセルは直接解釈可能であり、生成された入力は、それに対応するオブジェクトクラスを明確に示している。
• 再構成ネットワークは、カプセル活性化の真の原因を信頼性高く明らかにできないが、γ-カプセルの可視化は透明にその原因を示している。
• γ-カプセルネットワークの耐性は、畳み込み部の特性に起因するのではなく、γ-カプセル層自体の性質に起因しており、集中した畳み込みフィルタがそれを裏付けている。