[논문 리뷰] Deep-RBF Networks Revisited: Robust Classification with Rejection

Pourya Habib Zadeh, Reshad Hosseini외 1명|arXiv (Cornell University)|2018. 12. 07.

Adversarial Robustness in Machine Learning참고 문헌 20인용 수 22

한 줄 요약

이 논문은 일반적인 제작법과 거리 기반 비용 함수를 도입하여 딥-RBF 네트워크를 재검토한다. 이 비용 함수는 기울기 소실 문제를 피할 수 있도록 설계되었으며, 신뢰도 임계값 기반 거부 기능을 추가함으로써 MNIST에서 적대적 공격에 대해 높은 강건성을 확보한다. 이로 인해 표준 CNN에 대한 적대적 예제의 이동성은 최소화된다.

ABSTRACT

One of the main drawbacks of deep neural networks, like many other classifiers, is their vulnerability to adversarial attacks. An important reason for their vulnerability is assigning high confidence to regions with few or even no feature points. By feature points, we mean a nonlinear transformation of the input space extracting a meaningful representation of the input data. On the other hand, deep-RBF networks assign high confidence only to the regions containing enough feature points, but they have been discounted due to the widely-held belief that they have the vanishing gradient problem. In this paper, we revisit the deep-RBF networks by first giving a general formulation for them, and then proposing a family of cost functions thereof inspired by metric learning. In the proposed deep-RBF learning algorithm, the vanishing gradient problem does not occur. We make these networks robust to adversarial attack by adding the reject option to their output layer. Through several experiments on the MNIST dataset, we demonstrate that our proposed method not only achieves significant classification accuracy but is also very resistant to various adversarial attacks.

연구 동기 및 목표

• 데이터가 희박한 영역에서 높은 신뢰도 예측으로 인해 발생하는 딥 네트워크의 취약성을 해결한다.
• 선형 분류기를 사용하는 표준 딥 네트워크에 대한 강건한 대안으로 딥-RBF 네트워크를 재도입한다.
• 이전의 가정과는 달리 딥-RBF 네트워크가 기울기 소실 문제를 앓는다는 오랜 믿음을 깨뜨리기 위해 새로운 학습 제작법을 제안한다.
• 출력층에 거부 기능을 도입하여 학습된 클래스 클러스터에서 멀리 떨어진 입력을 거부함으로써 강건성을 향상시킨다.
• 딥-RBF 네트워크가 표준 CNN보다 적대적 예제의 이동성에 덜 취약한지 실험적으로 입증한다.

제안 방법

• 특성 공간 내 학습된 중심점으로부터의 거리에 따라 작용하는 ℓp-노름을 사용한 라디얼 기저 함수(RBF)를 활용한 일반적인 딥-RBF 네트워크 제작법을 제안한다.
• 메트릭 학습 기반의 비용 함수(ML 및 SoftML)를 설계하여, 클래스 간 분離를 촉진하고 클래스 내 응집도를 높이되, 기울기 소실을 유발하지 않도록 한다.
• 신뢰도 임계값 기반의 거부 메커니즘을 통합: 최대 클래스 신뢰도가 임계값 이하일 경우 입력을 거부한다.
• 학습 중 노이즈 주입을 적용하여 적대적 예제의 강건성과 이동성을 감소시킨다.
• MNIST 실험을 위해 두 층의 ConvNet을 특징 추출기로 사용하여 입력을 RBF 단위가 작용할 수 있는 표현 공간으로 매핑한다.
• 제안된 비용 함수를 사용한 확률적 최적화를 통해 기울기 포화 없이 효과적인 학습이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 기존의 가정과는 달리, 딥-RBF 네트워크가 기울기 소실 문제를 겪지 않고 효과적으로 학습될 수 있는가?
• RQ2 신뢰도 기반 거부 메커니즘이 적대적 공격에 대한 강건성에 얼마나 기여하는가?
• RQ3 딥-RBF 네트워크와 표준 CNN 간에 적대적 예제의 이동성에는 어떤 차이가 있는가?
• RQ4 학습 중 노이즈 주입이 다른 모델로의 적대적 예제 이동성에 영향을 줄 수 있는가?
• RQ5 딥-RBF 네트워크는 다양한 종류의 적대적 공격에 대해 높은 분류 정확도를 유지하면서도 강력한 강건성을 확보할 수 있는가?

주요 결과

• 제안된 딥-RBF 네트워크는 표준 CNN과 유사한 높은 분류 정확도를 달성하면서도, 적대적 공격에 대해 훨씬 더 강건한 성능을 보였다.
• 95%의 거부 임계값을 사용할 경우, 딥-RBF 네트워크에 대해 생성된 71.5%의 적대적 예제가 거부되며, 이는 강력한 탐지 능력을 시사한다.
• CNN에 대해 제작된 적대적 예제 중 단 0.55%만이 딥-RBF 네트워크를 속이는 데 성공하여, 이는 다른 모델 간의 이동성 최소화를 의미한다.
• 학습 중 노이즈 주입을 통해 적대적 예제의 이동성을 감소시켰다. 노이즈 적용 시, 딥-RBF 네트워크에서 유도된 11.5%의 적대적 예제만이 다른 네트워크를 속이는 데 성공했다.
• L-BFGS 타겟 공격의 경우, 딥-RBF 네트워크를 속이기 위해 더 큰 변형(왜곡)이 필요하며, 이는 CNN보다 훨씬 높은 왜곡 수준을 보임을 시사한다.
• 노이즈 주입과 98% 거부 임계값을 적용한 딥-RBF 네트워크는 동일한 모델에서 생성된 28.4%의 적대적 예제를 거부하여 효과적인 자기 거부 능력을 입증했다.