[论文解读] Increasing the adversarial robustness and explainability of capsule networks with $\gamma$-capsules

David Peer, Sebastian Stabinger+1 more|arXiv (Cornell University)|Dec 23, 2018

Adversarial Robustness in Machine Learning参考文献 19被引用 7

一句话总结

本文提出γ-胶囊网络（γ-capsule networks），一种新型胶囊网络架构，其归纳偏置源于外侧下颞叶皮层（inferior temporal cortex）的TE神经元，具有生物启发性。通过形式化这一先验知识并引入缩放距离一致性（scaled-distance-agreement, SDA）路由算法，该方法显著提升了对抗鲁棒性与人类可解释性，证明γ-胶囊能够编码清晰、可解释的特征，并在强对抗攻击下优于标准胶囊网络与CNN模型。

ABSTRACT

In this paper we introduce a new inductive bias for capsule networks and call networks that use this prior $\gamma$-capsule networks. Our inductive bias that is inspired by TE neurons of the inferior temporal cortex increases the adversarial robustness and the explainability of capsule networks. A theoretical framework with formal definitions of $\gamma$-capsule networks and metrics for evaluation are also provided. Under our framework we show that common capsule networks do not necessarily make use of this inductive bias. For this reason we introduce a novel routing algorithm and use a different training algorithm to be able to implement $\gamma$-capsule networks. We then show experimentally that $\gamma$-capsule networks are indeed more transparent and more robust against adversarial attacks than regular capsule networks.

研究动机与目标

• 解决标准胶囊网络在对抗鲁棒性与可解释性方面的不足。
• 形式化一种源自外侧下颞叶皮层TE神经元的新型归纳偏置。
• 开发一种路由算法，以支持γ-胶囊网络的构建。
• 证明γ-胶囊能够编码人类可理解的特征，实现直接可解释性。
• 表明γ-胶囊网络在对抗攻击下显著优于标准胶囊网络与CNN模型。

提出的方法

• 基于源自TE神经元的生物动机归纳偏置，提出γ-胶囊网络的形式化定义。
• 提出一种新型路由算法——缩放距离一致性（SDA），在路由过程中考虑高层胶囊的激活情况。
• 采用对抗训练下的经验风险最小化（ERM）来训练γ-胶囊网络。
• 使用特征可视化技术生成能激活单个γ-胶囊的输入，以实现可解释性。
• 采用度量方法验证网络中归纳偏置的正确实施。
• 用直接特征可视化替代重建网络，以避免掩盖胶囊激活的真实原因。

实验结果

研究问题

• RQ1 能否将源自TE神经元的生物启发归纳偏置形式化并应用于胶囊网络，以提升鲁棒性与可解释性？
• RQ2 为何标准胶囊网络无法实现对抗鲁棒性与可解释性？需要何种架构改进？
• RQ3 新型路由算法（SDA）能否有效实现γ-胶囊的归纳偏置？
• RQ4 γ-胶囊是否编码了人类可理解的特征，可直接通过可视化解释而无需重建网络？
• RQ5 γ-胶囊网络的对抗鲁棒性与标准胶囊网络及鲁棒CNN相比如何？

主要发现

• γ-胶囊网络在对抗攻击下的鲁棒性优于标准胶囊网络与CNN，包括那些专门训练以提升鲁棒性的模型。
• SDA路由算法成功实现了γ-胶囊的归纳偏置，使网络能够学习人类可理解的特征。
• 隐藏的γ-胶囊代表可解释的物体部件，如套头衫的主体或大衣的上半部分，经由特征可视化得到验证。
• 输出γ-胶囊可直接解释，生成的输入清晰对应其所代表的物体类别。
• 重建网络无法可靠揭示胶囊激活的真实原因，而γ-胶囊可视化则透明地揭示了这些原因。
• γ-胶囊网络的鲁棒性是γ-胶囊层本身的特性，而不仅依赖于卷积组件，这一点由集中化的卷积滤波器所证实。