[논문 리뷰] Input Hessian Regularization of Neural Networks

Waleed Mustafa, Robert A. Vandermeulen외 1명|arXiv (Cornell University)|2020. 09. 14.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 4

한 줄 요약

이 논문은 입력 헤시안 고유값이 큰 것을 방지하기 위해 이차 도함수 정보를 활용하는 Hessian 연산자 노름 정규화 기법인 Cross-Hölder Regularization을 제안한다. 이 방법은 새로운 알고리즘을 통해 Hessian 연산자 노름의 기울기를 효율적으로 계산하며, MNIST 및 FMNIST에서 강력한 공격 조건에서도 기울기 기반 정규화와 적대적 훈련을 모두 능가하는 강건성을 보여준다. 특히 4.0 이상의 높은 강건성 수준에서 두각을 나타낸다.

ABSTRACT

Regularizing the input gradient has shown to be effective in promoting the robustness of neural networks. The regularization of the input's Hessian is therefore a natural next step. A key challenge here is the computational complexity. Computing the Hessian of inputs is computationally infeasible. In this paper we propose an efficient algorithm to train deep neural networks with Hessian operator-norm regularization. We analyze the approach theoretically and prove that the Hessian operator norm relates to the ability of a neural network to withstand an adversarial attack. We give a preliminary experimental evaluation on the MNIST and FMNIST datasets, which demonstrates that the new regularizer can, indeed, be feasible and, furthermore, that it increases the robustness of neural networks over input gradient regularization.

연구 동기 및 목표

• 이차 도함수 정보를 활용하여 딥 네ural 네트워크의 적대적 공격에 대한 강건성을 향상시키기 위해.
• 직접 입력 헤시안 기울기를 계산하는 데 있어 계산의 비현실성을 해결하기 위해 Hessian 연산자 노름 정규화를 위한 효율적인 알고리즘을 개발하기 위해.
• 기존의 기울기 노름 기반 이론을 확장하여, 적대적 강건성과 Hessian 연산자 노름 간의 이론적 연관성을 규명하기 위해.
• 강력한 적대적 공격 조건 하에서 Hessian 정규화가 입력 기울기 정규화를 넘어서 강건성을 향상시킨다는 것을 경험적으로 검증하기 위해.
• 이차 곡률 정보를 활용한 적대적 훈련과 기울기 기반 방어 방법의 실현 가능하고 효과적인 대안을 제공하기 위해.

제안 방법

• 입력 헤시안 행렬의 연산자 노름을 페널티로 삼아 모델 곡률을 제어하는 이차 정규화 기법인 Cross-Hölder Regularization을 제안한다.
• 헤시안 연산자 노름의 기울기를 계산하기 위한 효율적인 알고리즘을 개발하여, 난이도 높은 기존 방법의 계산 비용 문제를 해결한다.
• 지역 곡률의 대리 척도로 헤시안 연산자 노름을 사용하며, 큰 값은 입력 변형에 대한 높은 민감도를 나타낸다.
• 손실 함수에 헤시안 연산자 노름에 비례하는 페널티 항을 추가함으로써 훈련 중 정규화를 적용한다.
• 헤시안 계산을 위해 두 번째 미분 가능성을 확보하기 위해 ReLU 및 맥스 풀링 레이어를 각각 SWISH 및 스트라이드 컨벌루션으로 대체한다.
• 최적의 정상 정확도와 적대적 강건성을 확보하기 위해 검증 세트에서 그리드 서치를 통해 하이퍼파rameter (λ₁, λ₂)를 튜닝한다.

실험 결과

연구 질문

• RQ1 이차 도함수, 특히 헤시안 연산자 노름을 활용하여 딥 네럴 네트워크의 적대적 강건성을 향상시킬 수 있는가?
• RQ2 헤시안 연산자 노름 정규화를 사용한 딥 네트워크 훈련은 계산적으로 실현 가능한가?
• RQ3 강력한 적대적 공격 조건에서 Hessian 정규화가 기울기 기반 정규화(예: Cross-Lipschitz)를 능가하는가?
• RQ4 다양한 공격 설정 하에서 Hessian 정규화는 적대적 훈련과 비교해 강건성이 뛰어난가?
• RQ5 입력 변형에 대한 분류기의 강건성과 Hessian 연산자 노름 간의 이론적 관계는 무엇인가?

주요 결과

• MNIST 데이터셋에서, Cross-Hölder 정규화는 가장 악성인 PGD 공격(카를리니-웨이저 목적함수 사용) 조건에서도 Cross-Lipschitz(기울기 기반) 정규화 및 적대적 훈련을 모두 능가한다. 특히 강건성 수준이 4.0 이상일 경우 두각을 나타낸다.
• 강건성 수준 4.0에서, CW 손실 공격 조건 하에서 Cross-Hölder는 Cross-Lipschitz 및 적대적 훈련보다 높은 적대적 정확도를 확보하여 강력한 공격에 대한 뛰어난 강건성을 입증한다.
• MNIST에서는 99% 이상의 정상 정확도를 유지했고, FMNIST에서는 88%를 확보하여 표준 성능 저하가 최소화됨을 보여준다.
• 경험적 결과는 Hessian 정규화가 기울기 정규화보다 더 강력한 공격 조건에서 더 뛰어난 강건성을 제공함을 시사한다.
• 제안된 알고리즘은 Hessian 연산자 노름 기울기의 효율적 계산을 가능하게 하여, 딥 네트워크에 대한 이차 정규화의 실현 가능성을 확보한다.
• 이론적 분석은 Hessian 연산자 노름이 분류기의 강건성을 제한함을 확인하며, 이는 기존 기울기 기반 경계를 곡률 영향까지 확장한 것이다.