[논문 리뷰] Training Deep Capsule Networks.

David Peer, Sebastian Stabinger외 1명|arXiv (Cornell University)|2018. 12. 23.

Adversarial Robustness in Machine Learning참고 문헌 3인용 수 13

한 줄 요약

이 논문은 캡슐 네트워크를 위한 새로운 라우팅 알고리즘인 동적 딥 라우팅을 제안하며, 층 간의 부모-자식 관계를 강제하여 계층적 파싱 트리의 형성을 보장한다. 원래의 합의 기반 라우팅과 달리, 이는 파싱 트리 구조를 보장하지 못하지만, 동적 딥 라우팅은 더 깊은 캡슐 네트워크의 학습을 가능하게 하고 백박스 공격에 대한 강건성을 향상시킨다.

ABSTRACT

The capsules of Capsule Networks are collections of neurons that represent an object or part of an object in a parse tree. The output vector of a capsule encodes the so called instantiation parameters of this object (e.g. position, size, or orientation). The routing-by-agreement algorithm routes output vectors from lower level capsules to upper level capsules. This iterative algorithm selects the most appropriate parent capsule so that the active capsules in the network represent nodes in a parse tree. This parse tree represents the hierarchical composition of objects out of smaller and smaller components. In this paper, we will show experimentally that the routing-by-agreement algorithm does not ensure the emergence of a parse tree in the network. To ensure that all active capsules form a parse tree, we introduce a new routing algorithm called dynamic deep routing. We show that this routing algorithm allows the training of deeper capsule networks and is also more robust to white box adversarial attacks than the original routing algorithm.

연구 동기 및 목표

• 캡슐 네트워크에서 합의 기반 라우팅의 실패로 인해 계층적 파싱 트리가 안정적으로 형성되지 않는 문제를 해결하기 위해.
• 라우팅 안정성과 구조를 향상시켜 더 깊은 캡슐 네트워크 아키텍처의 학습을 가능하게 하기 위해.
• 더 구조화된 라우팅 메커니즘을 통해 화이트박스 공격에 대한 강건성을 향상시키기 위해.
• 네트워크 내 활성 캡슐이 개체와 부분의 일관되고 계층적인 조합을 대표하도록 보장하기 위해.

제안 방법

• 캡슐 레이어 간의 부모-자식 관계를 강제하는 새로운 라우팅 알고리즘인 동적 딥 라우팅을 제안한다.
• 라우팅 과정을 수정하여 합의를 우선시하면서도, 각 캡슐이 다음 레이어의 정확히 한 부모 캡슐로 라우팅되도록 보장한다.
• 합의에 기반해 라우팅 가중치를 반복적으로 조정하는 동적 라우팅 메커니즘을 도입하지만, 파싱 트리의 무결성을 유지하기 위한 제약 조건을 포함한다.
• 더 깊은 네트워크 아키텍처를 지원하기 위해 다중 레이어에 걸쳐 라우팅 알고리즘을 적용한다.
• 캡슐 벡터에 코딩된 인스턴티에이션 파라미터를 사용해 위치, 크기, 방향과 같은 객체 특성을 표현한다.
• 반복적인 라우팅 업데이트를 활용해 라우팅 결정을 정밀하게 조정하여, 가장 관련성이 높은 부모 캡슐들만 선택되도록 보장한다.

실험 결과

연구 질문

• RQ1 합의 기반 라우팅 알고리즘이 캡슐 네트워크에서 안정적으로 계층적 파싱 트리를 생성하는가?
• RQ2 수정된 라우팅 알고리즘이 구조적 붕괴 없이 더 깊은 캡슐 네트워크의 학습을 가능하게 하는가?
• RQ3 새로운 라우팅 메커니즘이 화이트박스 공격에 대한 강건성에 어떤 영향을 미치는가?
• RQ4 동적 딥 라우팅은 캡슐 네트워크의 다중 레이어에 걸쳐 일관된 파싱 트리 구조를 강제할 수 있는가?

주요 결과

• 실험적으로 확인된 lin, 합의 기반 라우팅 알고리즘은 캡슐 네트워크에서 파싱 트리의 형성을 보장하지 못한다.
• 동적 딥 라우팅은 각 캡슐이 정확히 한 부모 캡슐로 라우팅되도록 보장함으로써 파싱 트리 형성을 성공적으로 강제한다.
• 제안된 알고리즘은 원래의 합의 기반 라우팅 방법에 비해 더 깊은 캡슐 네트워크의 학습을 가능하게 한다.
• 동적 딥 라우팅을 사용하는 캡슐 네트워크는 원래의 라우팅 알고리즘을 사용하는 네트워크보다 화이트박스 공격에 대해 향상된 강건성을 보인다.