[논문 리뷰] Increasing the adversarial robustness and explainability of capsule networks with $\gamma$-capsules

David Peer, Sebastian Stabinger외 1명|arXiv (Cornell University)|2018. 12. 23.

Adversarial Robustness in Machine Learning참고 문헌 19인용 수 7

한 줄 요약

이 논문은 고유한 캡슐 네트워크 아키텍처인 γ-캡슐 네트워크를 소개한다. 이는 하위측 측령피질의 TE 뉴런에서 유래한 생물학적으로 유사한 인덕티브 바이어스를 갖는다. 이 사전 지식을 정형화하고 스케일된 거리 일치(routing) 알고리즘(SDA)을 도입함으로써, 적대적 공격에 대한 강건성과 인간이 이해할 수 있는 해석 가능성의 향상을 달성한다. γ-캡슐은 이해할 수 있고 설명 가능한 특징을 인코딩하며, 강력한 적대적 공격 조건에서도 기존 캡슐 네트워크 및 CNN 모델보다 뛰어난 성능을 보임을 입증한다.

ABSTRACT

In this paper we introduce a new inductive bias for capsule networks and call networks that use this prior $\gamma$-capsule networks. Our inductive bias that is inspired by TE neurons of the inferior temporal cortex increases the adversarial robustness and the explainability of capsule networks. A theoretical framework with formal definitions of $\gamma$-capsule networks and metrics for evaluation are also provided. Under our framework we show that common capsule networks do not necessarily make use of this inductive bias. For this reason we introduce a novel routing algorithm and use a different training algorithm to be able to implement $\gamma$-capsule networks. We then show experimentally that $\gamma$-capsule networks are indeed more transparent and more robust against adversarial attacks than regular capsule networks.

연구 동기 및 목표

• 기존 캡슐 네트워크의 적대적 강건성과 해석 가능성 부족 문제를 해결하기 위해.
• 하위측 측령피질의 생물학적 TE 뉴런에서 영감을 받은 새로운 인덕티브 바이어스를 정형화하기 위해.
• γ-캡슐 네트워크를 구축할 수 있도록 하는 라우팅 알고리즘을 개발하기 위해.
• γ-캡슐이 인간이 이해할 수 있는 특징을 인코딩함으로써 직접적인 해석 가능성을 확보하기 위해.
• γ-캡슐 네트워크가 기존 캡슐 네트워크나 CNN보다 적대적 공격에 훨씬 더 강건한지 입증하기 위해.

제안 방법

• TE 뉴런에서 영감을 받은 생물학적 동기를 가진 인덕티브 바이어스를 기반으로 γ-캡슐 네트워크의 공식 정의를 제안한다.
• 상위 레이어의 캡슐 활성화를 고려하는 새로운 라우팅 알고리즘인 스케일된 거리 일치(SDA)를 도입한다.
• γ-캡슐 네트워크를 훈련하기 위해 적대적 훈련 기반의 경험적 리스크 최소화(ERM)를 활용한다.
• 개별 γ-캡슐을 활성화하는 입력을 생성하기 위해 특징 시각화 기법을 사용하여 해석 가능성을 확보한다.
• 네트워크 내에서 인덕티브 바이어스가 올바르게 시행되고 있는지 확인하기 위해 메트릭을 활용한다.
• 재구성 네트워크를 제거하고 직접적인 특징 시각화를 통해 캡슐 활성화의 진정한 원인을 가림없이 드러내기 위해 기존 방식을 대체한다.

실험 결과

연구 질문

• RQ1 TE 뉴런에서 영감을 받은 생물학적으로 유사한 인덕티브 바이어스를 캡슐 네트워크에 정형화하고 구현할 수 있는가? 이는 강건성과 해석 가능성 향상에 기여하는가?
• RQ2 기존 캡슐 네트워크가 왜 적대적 강건성과 해석 가능성을 확보하지 못하는가? 어떤 아키텍처적 개선이 필요한가?
• RQ3 새로운 라우팅 알고리즘(SDA)이 γ-캡슐 인덕티브 바이어스를 효과적으로 구현할 수 있는가?
• RQ4 γ-캡슐은 재구성 네트워크 없이도 인간이 이해할 수 있는 특징을 포함하는가? 이를 시각적으로 확인할 수 있는가?
• RQ5 γ-캡슐 네트워크의 적대적 강건성은 기존 캡슐 네트워크나 강건한 CNN보다 어떻게 뛰어나게 되는가?

주요 결과

• γ-캡슐 네트워크는 기존 캡슐 네트워크뿐 아니라, 강건성을 위해 특별히 훈련된 CNN보다도 적대적 공격에 더 강건하다.
• SDA 라우팅 알고리즘이 성공적으로 γ-캡슐 인덕티브 바이어스를 구현하여, 네트워크가 인간이 이해할 수 있는 특징을 학습할 수 있도록 한다.
• 은닉된 γ-캡슐은 풀오버의 몸통이나 코트의 상단 부분과 같은 해석 가능한 객체 부분을 나타내며, 특징 시각화를 통해 이를 확인할 수 있다.
• 출력 γ-캡슐은 직접적으로 해석 가능하며, 생성된 입력은 해당 캡슐이 나타내는 객체 클래스와 명확히 대응된다.
• 재구성 네트워크는 캡슐 활성화의 진정한 원인을 신뢰성 있게 드러내지 못하지만, γ-캡슐 시각화는 이를 투명하게 드러낸다.
• γ-캡슐 네트워크의 강건성은 단지 컨볼루션 구성 요소의 특성 때문이 아니라, γ-캡슐 레이어 자체의 성질에 기인하며, 농축된 컨볼루션 필터를 통해 이를 뒷받침한다.