[논문 리뷰] Comment on "Biologically inspired protection of deep networks from adversarial attacks"

Wieland Brendel, Matthias Bethge|arXiv (Cornell University)|2017. 04. 05.

Adversarial Robustness in Machine Learning참고 문헌 2인용 수 24

한 줄 요약

이 논문은 고도로 포화된 딥 네ural 네트워크가 기울기 기반 적대적 공격에 본질적으로 강건하다는 주장을 도전한다. 실제로 강건성이 나타나는 것은 기울기 계산에서 발생하는 수치적 불안정성 때문이며, 진정으로 내재된 저항력이 아니며, 간단한 기울기 안정화 기법을 적용하면 이러한 네트워크에 대해 성공적인 적대적 공격가능성이 회복됨을 보여준다.

ABSTRACT

A recent paper suggests that Deep Neural Networks can be protected from gradient-based adversarial perturbations by driving the network activations into a highly saturated regime. Here we analyse such saturated networks and show that the attacks fail due to numerical limitations in the gradient computations. A simple stabilisation of the gradient estimates enables successful and efficient attacks. Thus, it has yet to be shown that the robustness observed in highly saturated networks is not simply due to numerical limitations.

연구 동기 및 목표

• 고도로 포화된 딥 네럴 네트워크가 기울기 기반 적대적 공격에 실제로 강건한지 조사하기.
• 이전 연구에서 관찰된 강건성이 기울기 계산의 수치적 한계 때문인지 검토하기.
• 포화된 네트워크에 대해 성공적인 공격가능성을 제공할 수 있는 안정된 기울기 추정 방법을 개발하고 테스트하기.
• 적대적 기계 학습 평가에서 수치적 불안정성과 진정한 강건성의 혼동 위험을 부각하기.

제안 방법

• 시그모이드 및 ReLU의 비선형 영역으로 활성화를 유도하기 위해 포화 페널티를 적용하거나 적용하지 않은 3층의 다층퍼셉트론(MLP)을 훈련하기.
• 기본 기울기 추정과 안정화된 기울기 추정을 사용하여 빠른 기울기 부호 방법(FGSM)을 적용해 적대적 예제 생성하기.
• 시그모이드 비선형성의 이득을 감소시켜 기울기 안정성을 향상시키면서도 활성화 포화를 유지하는 수정된 FGSM 사용하기.
• 포화된 네트워크에서 기울기 원소의 분포를 분석하여 영 또는 수치적으로 불안정한 기울기의 비율을 정량화하기.
• 비영 기울기 비율에 기반해 공격 성공률을 평가하고, 성능과 수치적 안정성 간 상관관계 분석하기.
• 읽기층 활성화를 축소시켜 기울기 안정성을 확보함으로써 ReLU 네트워크로 공격를 확장하기.

실험 결과

연구 질문

• RQ1 FGSM 공격에 대한 포화된 딥 네럴 네트워크의 강건성이 기울기 계산에서 발생하는 수치적 불안정성에서 기인하는가?
• RQ2 안정화된 기울기 추정치가 고도로 포화된 네트워크에 대해 적대적 예제를 성공적으로 생성할 수 있는가?
• RQ3 포화된 네트워크에서 비영 기울기 비율이 FGSM 공격 성공률과 어느 정도 상관관계가 있는가?
• RQ4 이전 연구에서 관찰된 강건성(예: [1])은 구현에 따라 달라지는 수치적 한계의 산물인가?
• RQ5 기울기 추정치가 안정화되면 포화된 활성화를 가진 네트워크에 대해 기울기 기반 공격를 신뢰성 있게 적용할 수 있는가?

주요 결과

• 포화된 시그모이드 네트워크에서는 기울기 원소의 98.2% 이상이 정확히 0이며, 나머지 기울기는 일반 네트워크보다 16개 지수만큼 작아져 심각한 수치적 불안정성을 나타낸다.
• 기본 FGSM 공격는 포화된 네트워크에서 실패하는데, 이는 불안정하거나 영인 기울기에 의존하기 때문이며, 시그모이드 MLP에서 96.6%의 강건성 비율을 기록한다.
• 시그모이드 이득을 줄여 기울기 안정화를 달성한 안정화된 기울기 추정치는 FGSM 공격를 복원하여 동일한 포화된 시그모이드 MLP에서 강건성을 단 1.7%로 낮춘다.
• ReLU 기반의 포화된 네트워크에 대해서도 읽기층 활성화를 축소시켜 유사한 공격를 수행하면 강건성이 98.0%에서 8.4%로 감소한다.
• 공격 성공률은 비영 기울기 비율과 강하게 상관관계가 있으며, 높은 포화도로 인해 더 많은 기울기가 0이 되면서 급격히 감소한다.
• 결과적으로 이전 연구에서 관찰된 강건성은 내재된 보호 기능이 아니라 수치적 한계의 산물일 가능성이 높으며, 따라서 진정한 강건성의 타당한 측정 기준으로 볼 수 없다.