[논문 리뷰] Fast Differentiable Clipping-Aware Normalization and Rescaling

Jonas Rauber, Matthias Bethge|arXiv (Cornell University)|2020. 07. 15.

Model Reduction and Neural Networks참고 문헌 5인용 수 5

한 줄 요약

이 논문은 [0,1]^n 등의 유한한 데이터 도메인으로 클리핑된 후 효과적 노름이 목표로 하는 p-노름과 일치하도록 변형 벡터의 최적 스케일링을 계산하기 위한 미분 가능하고 반복이 아닌 알고리즘을 제안한다. 스케일링과 클리핑 효과 간의 조각별 선형 관계를 해석적으로 풀어내어, 적절한 노름을 정확하고 신속하게, 백프로파게이션에 적합한 정규화를 가능하게 한다. 이는 적대적 내성 및 데이터 증강과 같은 응용 분야에서 유용하다.

ABSTRACT

Rescaling a vector $\vecδ \in \mathbb{R}^n$ to a desired length is a common operation in many areas such as data science and machine learning. When the rescaled perturbation $η\vecδ$ is added to a starting point $\vec{x} \in D$ (where $D$ is the data domain, e.g. $D = [0, 1]^n$), the resulting vector $\vec{v} = \vec{x} + η\vecδ$ will in general not be in $D$. To enforce that the perturbed vector $v$ is in $D$, the values of $\vec{v}$ can be clipped to $D$. This subsequent element-wise clipping to the data domain does however reduce the effective perturbation size and thus interferes with the rescaling of $\vecδ$. The optimal rescaling $η$ to obtain a perturbation with the desired norm after the clipping can be iteratively approximated using a binary search. However, such an iterative approach is slow and non-differentiable. Here we show that the optimal rescaling can be found analytically using a fast and differentiable algorithm. Our algorithm works for any p-norm and can be used to train neural networks on inputs with normalized perturbations. We provide native implementations for PyTorch, TensorFlow, JAX, and NumPy based on EagerPy.

연구 동기 및 목표

• 표준 편향 스케일링이 [0,1]^n과 같은 유한한 데이터 도메인으로 클리핑될 경우 효과적 편향 크기가 감소하는 문제를 해결한다.
• 클리핑 이후 정확한 스케일링 인자를 찾기 위해 느리고 비미분 가능한 반복적 이진 탐색 방법의 한계를 극복한다.
• 클리핑 이후 편향 크기의 정확하고 미분 가능한 제어를 가능하게 하여, 강건한 모델 훈련 및 적대적 내성 평가에 필수적인 요소를 확보한다.
• 모든 p-노름(1 ≤ p < ∞)과 모든 유한한 데이터 도메인 [a,b]^n에 대해 유효한 일반적인 해결책을 제공한다.
• 클리핑이 적용되더라도 정규화된 편향을 사용한 신경망의 엔드 투 엔드 미분 가능한 훈련을 가능하게 한다.

제안 방법

• 클리핑이 효과적 편향 크기를 줄이므로, ||clip_a,b(x + ηδ) - x||_p = ε 를 만족하는 η 를 구하는 문제로 문제를 수식화한다.
• 각 차원에서의 클리핑 행동을 바탕으로, 효과적 편향 노름의 p제곱을 η^p 에 대한 조각별 선형 함수로 표현한다.
• 각 차원 i에 대해, 클리핑이 발생하는 임계 기준 η_i = (c_i - x_i)/δ_i 를 정의한다. 여기서 c_i 는 클리핑 경계이며, δ_i > 0 이면 b, δ_i < 0 이면 a 이다.
• 클리핑 임계 기준에 따라 차원을 그룹화하고 η_i 를 기준으로 정렬하여 누적 노름 기여도를 효율적으로 계산할 수 있도록 한다.
• 정렬된 기준치를 기반으로 누적 합을 사용해 η^p 에 대한 조각별 선형 함수로서 노름을 계산하고, 이를 해석적으로 역산하여 정확한 η 를 구한다.
• NumPy의 벡터화 연산을 활용해 효율적으로 알고리즘을 구현하였으며, PyTorch, TensorFlow, JAX, EagerPy를 통한 자동 미분에 내장된 지원을 제공한다.

실험 결과

연구 질문

• RQ1 클리핑 이후 효과적 편향 노름이 목표 ε 와 일치하도록 하는 스케일링 인자 η 를 해석적으로 어떻게 계산할 수 있는가?
• RQ2 반복적 이진 탐색이 필요 없이 클리핑 인식 편향 스케일링에서 미분 가능성을 유지할 수 있는가?
• RQ3 스케일링에 대한 클리핑된 편향의 노름 수학적 구조는 무엇이며, 이를 효율적으로 역행할 수 있는가?
• RQ4 계산 효율성을 잃지 않고 다양한 p-노름과 데이터 도메인으로 일반화할 수 있는가?
• RQ5 이 방법은 적대적 공격 및 강건성 훈련의 효과성과 훈련 효율성을 어느 정도 향상시킬 수 있는가?

주요 결과

• 제안된 알고리즘은 반복적 근사 없이 정확한 스케일링 인자 η 를 해석적으로 계산하여 완전한 미분 가능성을 확보한다.
• 이 방법은 클리핑 이후 정확하고 반복 없는 편향 정규화를 달성하여 편향 예산을 최대한 활용한다.
• EagerPy 를 통한 내장 지원으로 PyTorch, TensorFlow, JAX, NumPy와의 원활한 통합이 가능하여, 딥러닝 파이프라인에 쉽게 통합할 수 있다.
• p=2 인 경우, 정렬된 기준치와 누적 합을 사용해 효율적으로 구현되며, 계산 복잡도는 주로 정렬에 의해 지배된다.
• 제곱과 제곱근 연산을 p제곱과 p제곱근 연산으로 교체함으로써, 모든 p-노름으로 직접 일반화할 수 있다.
• 적대적 노이즈 공격 및 악성 노이즈 분포 학습 등에서, 정규화된 편향을 사용한 모델의 미분 가능한 훈련이 가능하다는 것이 실험적으로 입증되었다.