[논문 리뷰] Towards Robust, Locally Linear Deep Networks

Guang-He Lee, David Alvarez-Melis외 1명|arXiv (Cornell University)|2019. 07. 07.

Adversarial Robustness in Machine Learning참고 문헌 50인용 수 15

한 줄 요약

이 논문은 조각별 선형 활성함수를 갖는 딥 네트워크에서 기울기 안정성을 향상하기 위해 새로운 학습 목표인 Roll(Robust, locally linear deep learning)을 제안한다. ℓ₂ 마진 한계와 유연한 SVM 유사 최적화를 사용해 증명 가능하게 안정적인 도함수 영역을 식별하고 확장함으로써 局소 선형 근사의 강건성을 향상시킨다. 이미지 및 시퀀스 작업에서 더 안정적인 기울기와 약간 향상된 정확도를 통해 성능이 입증되었다.

ABSTRACT

Deep networks realize complex mappings that are often understood by their locally linear behavior at or around points of interest. For example, we use the derivative of the mapping with respect to its inputs for sensitivity analysis, or to explain (obtain coordinate relevance for) a prediction. One key challenge is that such derivatives are themselves inherently unstable. In this paper, we propose a new learning problem to encourage deep networks to have stable derivatives over larger regions. While the problem is challenging in general, we focus on networks with piecewise linear activation functions. Our algorithm consists of an inference step that identifies a region around a point where linear approximation is provably stable, and an optimization step to expand such regions. We propose a novel relaxation to scale the algorithm to realistic models. We illustrate our method with residual and recurrent networks on image and sequence datasets.

연구 동기 및 목표

• 국소 선형 근사의 해석 가능성과 강건성에 악영향을 미치는 딥 네트워크의 기울기 불안정성 문제를 해결한다.
• 분석이 용이한 조각별 선형 네트워크(예: ReLU 기반)에 초점을 맞춰 도함수 안정성의 분석 가능성을 확보한다.
• 입력 점 주변에서 도함수가 증명 가능하게 안정적인 영역의 ℓ₂ 마진을 최대화하는 학습 기준을 개발한다.
• 백프로파게이션 없이 고차원 데이터를 다룰 수 있는 확장 가능한 추론 및 최적화 알고리즘을 설계한다.
• 기울기 기반 설명의 신뢰성과 소규모 입력 변형에 대한 강건성을 향상시킨다.

제안 방법

• 활성화 패턴이 일정한 입력 공간 내의 가용 영역으로 선형 영역을 정의하여 도함수의 안정성을 보장한다.
• 해석적 ℓ₂ 마진 한계를 사용해 주어진 입력 주변에서 도함수가 증명 가능하게 안정적인 영역의 크기를 정량화한다.
• SVM 유사 최적화 문제를 유연하게 제안하여 ℓ₂ 마진을 최대화함으로써 확장 가능한 훈련을 가능하게 한다.
• 백프로파게이션을 피하는 새로운 펌프터베이션 기반 순방향 전파를 제안하여 O(D) 개의 입력을 동시에 정확한 기울기를 계산한다.
• GPU 메모리에 전체 O(D) 샘플이 들어가지 않는 고차원 설정에서 비편향된 확률적 근사를 제안한다.
• 훈련 중에 Roll 손실을 적용하여 네트워크 내 다양한 선형 영역에서 더 넓은 안정된 도함수 영역을 유도한다.

실험 결과

연구 질문

• RQ1 우리는 조각별 선형 활성함수를 갖는 딥 네트워크에서 도함수가 증명 가능하게 안정적인 입력 공간의 영역을 식별하고 확장할 수 있는가?
• RQ2 이미지 및 시퀀스와 같은 고차원 데이터에 대해 기울기 안정성 한계의 계산을 어떻게 확장할 수 있는가?
• RQ3 안정적인 기울기 최적화가 국소 선형 근사의 강건성과 모델 해석 가능성에 얼마나 기여하는가?
• RQ4 제안된 Roll 손실은 표준 훈련 대비 소규모 입력 변형 상황에서도 더 안정적인 기울기를 유도하는가?
• RQ5 이 방법은 ResNet 및 RNN과 같은 다양한 네트워크 아키텍처에 일반화되어 기울기 안정성을 유지할 수 있는가?

주요 결과

• Roll 손실은 적대적 편향 실험에서 최대 및 평균 ℓ₁ 기울기 왜곡이 낮아, 기울기 안정성이 크게 향상됨을 입증한다.
• Caltech-256에서 Roll 손실을 적용한 경우 1024장의 테스트 이미지 중 기울기 왜곡 예측이 발생한 것은 40장 뿐이었고, 일반 훈련 대비 42장보다 적게 발생하여 더 높은 강건성을 보였다.
• 시각화 결과 Roll 훈련 모델은 안정적이고 일관된 기울기 패턴을 생성하는 반면, 일반 모델은 노이즈가 많고 일관성 없는 기울기를 보였다.
• 제안된 펌프터베이션 알고리즘은 백프로파게이션에 의존하지 않고 O(D) 개의 입력을 동시에 정확한 기울기를 계산하여 확장성을 향상시켰다.
• 이 방법은 아키텍처에 관계없이 일반화 가능하다: 완전 연결, 잔차(ResNet), 순환(RNN) 네트워크에서 이미지 및 시계열 데이터에 대해 효과적이다.
• Caltech-256에서 Roll 손실은 정밀도 1 및 5(P@1 및 P@5)에서 약간 향상된 성능를 기록하여 기울기 안정성과 함께 일반화 능력 향상을 동시에 달성했다.