[논문 리뷰] Fortified Networks: Improving the Robustness of Deep Networks by Modeling the Manifold of Hidden Representations

Alex Lamb, Jonathan Binas외 5명|arXiv (Cornell University)|2018. 04. 07.

Adversarial Robustness in Machine Learning참고 문헌 18인용 수 29

한 줄 요약

Fortified Networks는 깊이 있는 네트워크의 강건성을 향상시키기 위해, 은닉 표현이 데이터 다양체 위를 이탈할 경우 이를 복원하는 디노이징 오토에인코더(DAEs)를 사용하여 은닉 표현을 다시 데이터 다양체 위로 투영함으로써, 아키텍처의 전반적인 수정 없이도 화이트박스 및_BLK박스 공격에 대한 강건성을 크게 향상시킨다. 이 방법은 MNIST에서 최신 기준 수준의 강건성을 달성하고, CIFAR-10 및 Fashion-MNIST에서도 향상된 성능을 보이며, 재구성 오차가 분포 이탈을 신뢰할 수 있는 지표로 기능한다.

ABSTRACT

Deep networks have achieved impressive results across a variety of important tasks. However a known weakness is a failure to perform well when evaluated on data which differ from the training distribution, even if these differences are very small, as is the case with adversarial examples. We propose Fortified Networks, a simple transformation of existing networks, which fortifies the hidden layers in a deep network by identifying when the hidden states are off of the data manifold, and maps these hidden states back to parts of the data manifold where the network performs well. Our principal contribution is to show that fortifying these hidden states improves the robustness of deep networks and our experiments (i) demonstrate improved robustness to standard adversarial attacks in both black-box and white-box threat models; (ii) suggest that our improvements are not primarily due to the gradient masking problem and (iii) show the advantage of doing this fortification in the hidden layers instead of the input space.

연구 동기 및 목표

• 데이터 다양체 근처에 있지만 잘못 분류를 유도하는 적대적 예제에 대한 깊이 있는 네트워크의 취약성을 해결하기 위해.
• 기존 네트워크에 대해 재학습 없이도 적용 가능한 실용적이고 즉시 사용 가능한 방어 방법을 개발하기 위해.
• 기울기 가림을 피하면서 화이트박스 및 블랙박스 위협 모델 모두에서 강건성을 향상시키기 위해.
• 입력 공간보다 은닉 표현 공간에서의 강건화가 더 효과적인지 입증하기 위해.
• 추론 시점에 DAE 재구성 오차를 통해 분포 이탈을 신뢰할 수 있는 신호로 제공하기 위해.

제안 방법

• 사전 학습된 네트워크의 은닉 레이어 사이에 디노이징 오토에인코더(DAEs)를 '장식'으로 도입하여 표현을 강화하기 위해.
• 손상된 형태의 은닉 상태에서 정제된 은닉 상태를 재구성하도록 DAE를 훈련시켜 표현 공간 내에서 데이터 다양체의 본질적 구조를 학습하기 위해.
• DAE의 디코더를 사용해 다양체를 이탈한 은닉 상태(적대적 예제에서 나타남)를 데이터 다양체 위의 가장 가까운 점으로 다시 투영하기 위해.
• 청결한 데이터에 대한 재구성 오차와 교란된 입력에 대한 적대적 오차를 결합한 손실을 적용하여 강건성을 유도하기 위해.
• 추론 시점에 강화된 레이어를 네트워크에 통합하여, 최종 분류 이전에 DAE를 사용해 은닉 활성화를 복원하기 위해.
• 테스트 시점의 재구성 오차를 사용해 분포 이탈 또는 적대적 입력을 탐지하는 데 신뢰할 수 있는 지표로 제공하기 위해.

실험 결과

연구 질문

• RQ1 디노이징 오토에인코더를 사용해 은닉 표현을 강화하는 것이 입력 공간 방어보다 적대적 공격에 대한 강건성을 더 효과적으로 향상시킬 수 있는가?
• RQ2 제안된 방법이 이전 방어에서 흔히 발생하는 기울기 가림 문제를 피하는가?
• RQ3 DAE의 재구성 오차가 분포 이탈 또는 적대적 입력 탐지에 신뢰할 수 있는 신호로 기능할 수 있는가?
• RQ4 입력 공간보다 은닉 표현 공간에서의 강건화가 적대적 예제에 대한 방어에 더 효과적인가?
• RQ5 이 방법이 아키텍처 변경 없이도 기존 네트워크에 일반적으로 적용 가능한가?

주요 결과

• Fortified Networks는 MNIST에서 최신 기준 수준의 강건성을 달성하여 화이트박스 및 블랙박스 공격 상황 모두에서 이전의 방어 방법을 능가한다.
• 이 방법은 CIFAR-10 및 Fashion-MNIST에서도 일관된 향상을 보이며, MNIST를 초월한 일반화 능력을 입증한다.
• 화이트박스 및 블랙박스 공격 모두에 효과적이므로 기울기 가림에 취약하지 않음을 시사한다.
• DAE의 재구성 오차는 분포 이탈을 탐지하는 데 신뢰할 수 있는 지표로 작용하며, 적대적 예제와 도메인 이탈 모두를 탐지할 수 있다.
• 이 방법은 실용적이고 조합 가능하다: 기존 네트워크, 특히 ResNets에 추가해도 계산 오버헤드가 최소한이다.
• 이 방법은 적대적 훈련과 결합될 경우 가장 효과적이며, 데이터 증강과 표현 수준의 강건화 간에 상호 보완적인 상호작용이 있음을 시사한다.