[論文レビュー] Training Deep Capsule Networks.

David Peer, Sebastian Stabinger+1 more|arXiv (Cornell University)|Dec 23, 2018

Adversarial Robustness in Machine Learning参考文献 3被引用数 13

ひとこと要約

本論文は、階層的パースツリーの形成を保証するため、層間の親子関係を強制する動的ディープルーティングという、キャプセルネットワークのための新しいルーティングアルゴリズムを提案する。元のアグリーメントによるルーティングとは異なり、パースツリー構造を保証しないが、動的ディープルーティングは、より深いキャプセルネットワークの学習を可能にし、白ボックス攻撃に対して高い耐性を示す。

ABSTRACT

The capsules of Capsule Networks are collections of neurons that represent an object or part of an object in a parse tree. The output vector of a capsule encodes the so called instantiation parameters of this object (e.g. position, size, or orientation). The routing-by-agreement algorithm routes output vectors from lower level capsules to upper level capsules. This iterative algorithm selects the most appropriate parent capsule so that the active capsules in the network represent nodes in a parse tree. This parse tree represents the hierarchical composition of objects out of smaller and smaller components. In this paper, we will show experimentally that the routing-by-agreement algorithm does not ensure the emergence of a parse tree in the network. To ensure that all active capsules form a parse tree, we introduce a new routing algorithm called dynamic deep routing. We show that this routing algorithm allows the training of deeper capsule networks and is also more robust to white box adversarial attacks than the original routing algorithm.

研究の動機と目的

• キャプセルネットワークにおけるアグリーメントによるルーティングが、階層的パースツリーを信頼性高く形成できない問題を解決すること。
• ルーティングの安定性と構造を改善することで、より深いキャプセルネットワークアーキテクチャの学習を可能にすること。
• より構造的なルーティングメカニズムを通じて、白ボックスアドバーシャル攻撃に対する耐性を高めること。
• ネットワーク内のアクティブなキャプセルが、一貫性のある階層的構成のオブジェクトと部分を表すようにすること。

提案手法

• 層間の親子関係を強制する新しいルーティングアルゴリズムとして、動的ディープルーティングを提案する。
• ルーティングプロセスを変更し、同意を優先すると同時に、各層のキャプセルが次の層の正確に1つの親キャプセルにルーティングされるように保証する。
• 同意に基づいて反復的にルーティング重みを調整する動的ルーティングメカニズムを導入するが、パースツリーの整合性を維持する制約を設ける。
• より深いネットワークアーキテクチャをサポートするために、複数層にわたってルーティングアルゴリズムを適用する。
• オブジェクトの位置、サイズ、方向などのプロパティをキャプセルベクトルにエンコードされたインスタンシエーションパラメータで表現する。
• 反復的なルーティング更新を用いてルーティング意思決定を精緻化し、最も関連性の高い親キャプセルのみを選択することを保証する。

実験結果

リサーチクエスチョン

• RQ1 アグリーメントによるルーティングアルゴリズムは、キャプセルネットワークで信頼性高く階層的パースツリーを生成できるか？
• RQ2 改良されたルーティングアルゴリズムは、構造的崩壊を防ぎつつ、より深いキャプセルネットワークの学習を可能にするか？
• RQ3 新しいルーティングメカニズムは、白ボックスアドバーシャル攻撃に対する耐性にどのように影響するか？
• RQ4 動的ディープルーティングは、複数層にわたるキャプセルネットワークで一貫したパースツリー構造を強制できるか？

主な発見

• 実験的に示されたように、アグリーメントによるルーティングアルゴリズムは、キャプセルネットワークにおけるパースツリーの出現を保証できない。
• 動的ディープルーティングは、各キャプセルが正確に1つの親キャプセルにルーティングされることを保証することで、パースツリーの形成を成功させる。
• 提案されたアルゴリズムは、元のアグリーメントによるルーティング手法と比較して、より深いキャプセルネットワークの学習を可能にする。
• 動的ディープルーティングを用いたキャプセルネットワークは、元のルーティングアルゴリズムを用いたものと比較して、白ボックスアドバーシャル攻撃に対して優れた耐性を示す。