[논문 리뷰] Manifold Regularized Deep Neural Networks using Adversarial Examples

Taehoon Lee, Minsuk Choi외 1명|arXiv (Cornell University)|2015. 11. 19.

Adversarial Robustness in Machine Learning참고 문헌 25인용 수 12

한 줄 요약

이 논문은 다중 레이어에서 원본 샘플과 적대적 예제 간의 활성화 차이를 최소화하여 적대적 예제에 대한 강건성을 향상시키는 딥러닝 프레임워크인 Manifold Regularized Networks (MRnet)를 제안한다. 이는 이웃 관계를 유지하는 다양체 손실을 통합함으로써 특징 일반화를 향상시키고, MNIST, CIFAR-10, SVHN에서 경쟁적인 정확도와 향상된 클러스터링 대비를 달성하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Learning meaningful representations using deep neural networks involves designing efficient training schemes and well-structured networks. Currently, the method of stochastic gradient descent that has a momentum with dropout is one of the most popular training protocols. Based on that, more advanced methods (i.e., Maxout and Batch Normalization) have been proposed in recent years, but most still suffer from performance degradation caused by small perturbations, also known as adversarial examples. To address this issue, we propose manifold regularized networks (MRnet) that utilize a novel training objective function that minimizes the difference between multi-layer embedding results of samples and those adversarial. Our experimental results demonstrated that MRnet is more resilient to adversarial examples and helps us to generalize representations on manifolds. Furthermore, combining MRnet and dropout allowed us to achieve competitive classification performances for three well-known benchmarks: MNIST, CIFAR-10, and SVHN.

연구 동기 및 목표

• 작은, 인식하기 어려운 적대적 편향으로 인해 성능이 저하되는 딥 네URAL 네트워크의 취약성을 해결하기 위해.
• 고차원 표현에서 국소적 이웃 관계를 유지함으로써 딥러닝과 다양체 학습을 통합하기 위해.
• 딥 네트워크가 적대적 예제에 대해 불변이 되도록 하는 학습 목표를 개발하여 분류 정확도를 유지하거나 향상시키기 위해.
• 딥 레이어에서 원본 및 적대적 예제 임bedding 간의 유사성을 강제로 부여함으로써 학습된 특징의 일반화와 분리 가능성을 향상시키기 위해.
• 적대적 예제를 통한 다양체 정규화가 더 강건하고 의미 있는 저차원 표현을 이끌어낼 수 있음을 입증하기 위해.

제안 방법

• 원본 및 적대적 예제의 최종 히든 레이어 활성화 간의 L2 노름 차이를 최소화하는 다각형 손실 항목 Φ를 제안하며, 즉 ||a^(L) - a'^(L)||₂이다.
• 적대적 편향으로 인한 초기 학습 불안정성을 방지하기 위해, 일반 네트워크를 사전 학습한 후에만 다각형 손실 Φ를 적용한다.
• 표준 확률적 경사 하강법에 관성 항을 통합하여, 기존 딥러닝 최적화 파ipeline와의 호환성을 확보한다.
• 네트워크의 임베딩 공간을 정규화하기 위해, 빠른 기울기 부호 방법(FGSM)을 활용해 생성된 적대적 예제를 편향된 대체 쌍으로 사용한다.
• 드롭아웃과 MRnet를 결합하여 일반화를 추가로 향상시키고, 벤치마크 데이터셋에서 경쟁 가능한 성능을 달성한다.
• 학습된 다양체 표현의 품질 평가를 위해 t-SNE 시각화와 클러스터링 지표(실루엣 계수, 덴 인덱스)를 활용한다.

실험 결과

연구 질문

• RQ1 적대적 예제를 활용한 딥 네트워크 정규화가 작은 입력 편향에 대한 강건성을 향상시킬 수 있는가?
• RQ2 원본 및 적대적 예제 임베딩 간의 유사성을 강제로 부여하면 딥 네트워크의 일반화 성능이 향상되는가?
• RQ3 적대적 예제를 통한 다양체 정규화가 학습된 특징의 클러스터링 구조와 분리 가능성을 향상시킬 수 있는가?
• RQ4 제안된 다각형 손실은 표준 적대적 훈련 대비 표현 품질과 분류 정확도 측면에서 어떻게 비교되는가?
• RQ5 MRnet는 바닐라 네트워크에 비해 특징 다양체의 기하학적 구조를 어느 정도 향상시키는가?

주요 결과

• MRnet는 SVHN에서 테스트 정확도 97.521±0.052를 기록하여 표준 훈련 프로토콜을 초월하며 뛰어난 일반화 능력을 보였다.
• 다양체 클러스터링에 대한 덴 인덱스는 다각형 손실 적용 후 31.45% 향상되어 내부 클래스 및 외부 클래스 클러스터 간의 분리가 뚜렷하게 향상됨을 시사했다.
• 마지막 히든 레이어에서 원본 및 적대적 예제 활성화 간 평균 L2 거리는 3.57로 감소하여 임베딩이 매우 가까운 영역으로 투영되었음을 나타냈다.
• t-SNE 시각화 결과, MRnet는 자동차와 같은 유사 클래스를 밀도 있고 일관된 클러스터로 묶는 반면, 바닐라 네트워크는 이를 산산이 흩트렸다.
• 다양체 손실 적용 후 잘못된 근접 이웃 수(예: 새 이미지가 개 또는 사슴 근처에 위치)가 감소하여 국소 구조 보존 능력 향상이 확인되었다.
• MRnet에 드롭아웃을 결합한 결과, MNIST, CIFAR-10, SVHN에서 경쟁 가능한 분류 성능을 달성하여 방법의 강건성과 확장성은 검증되었다.