[논문 리뷰] Sorting out Lipschitz function approximation

Cem Anil, James Lucas외 1명|arXiv (Cornell University)|2018. 11. 13.

Adversarial Robustness in Machine Learning참고 문헌 54인용 수 31

한 줄 요약

이 논문은 기울기 노름을 유지하는 GroupSort 활성화 함수와 가중치 행렬의 노름 제약을 조합한 노름 제약이 가해진 GroupSort 신경망을 제안하여 보편적인 리프시츠 함수 근사기로 활용한다. 이 방법은 ReLU 기반 대안 대비 정확도 손실를 최소화하면서 더 날카운 Wasserstein 거리 추정과 뛰어난 적대적 내성 확보를 달성하여, 리프시츠 제약 하에서 표현력의 핵심 상충관계를 해결한다.

ABSTRACT

Training neural networks under a strict Lipschitz constraint is useful for provable adversarial robustness, generalization bounds, interpretable gradients, and Wasserstein distance estimation. By the composition property of Lipschitz functions, it suffices to ensure that each individual affine transformation or nonlinear activation is 1-Lipschitz. The challenge is to do this while maintaining the expressive power. We identify a necessary property for such an architecture: each of the layers must preserve the gradient norm during backpropagation. Based on this, we propose to combine a gradient norm preserving activation function, GroupSort, with norm-constrained weight matrices. We show that norm-constrained GroupSort architectures are universal Lipschitz function approximators. Empirically, we show that norm-constrained GroupSort networks achieve tighter estimates of Wasserstein distance than their ReLU counterparts and can achieve provable adversarial robustness guarantees with little cost to accuracy.

연구 동기 및 목표

• 신경망에서 엄격한 리프시츠 제약 조건 하에 표현력 있는 보편 근사기의 부족을 해결하기 위해.
• 기존 아키텍처에서 리프시츠 제약 강제화와 모델 표현력 사이의 상충관계를 해결하기 위해.
• 표현력 있는 노름 제약이 가해진 리프시츠 네트워크를 위해 기울기 노름 유지가 필수 조건임을 규명하기 위해.
• 노름 제약이 가해진 GroupSort가 임의의 1-리프시츠 함수를 보편적으로 근사할 수 있음을 보여주기 위해.
• Wasserstein 거리 추정 및 적대적 내성에서 향상된 성능을 실증적으로 검증하기 위해.

제안 방법

• 기울기 노름 유지가 가능한 활성화 함수인 GroupSort를 제안하며, 이는 뉘앙스를 갖춘 뉴런 그룹을 정렬함으로써 리프시츠 연속성과 기울기 노름 유지 모두를 보장한다.
• 각 선형 변환을 1-리프시츠로 보장하기 위해 가중치 행렬에 스펙트럼 노름 제약을 적용한다.
• 노름 제약이 가해진 GroupSort 네트워크가 보편적인 1-리프시츠 함수 근사기임을 증명하기 위해 스톤-바이어스트라스 정리의 변종을 사용한다.
• 적대적 내성 훈련을 위해 AggMo 옵timizer를 사용하고, 가중치 노름 제약과 기울기 투영을 적용한다.
• GAN 훈련 후 생성자 가중치를 冻결하여, GroupSort를 갖는 비평가 네트워크를 사용해 Wasserstein 거리를 평가한다.
• 훈련 중 각 업데이트 후에 가중치 행렬에 $L_\ ext{infty}$-노름 투영을 적용하여 리프시츠 제약를 유지한다.

실험 결과

연구 질문

• RQ1 신경망 아키텍처가 증명 가능한 1-리프시츠 성질을 유지하면서도 높은 표현력을 유지할 수 있는가?
• RQ2 노름 제약이 가해진 네트워크가 임의의 1-리프시츠 함수를 근사하기 위해 필요한 아키텍처적 특성은 무엇인가?
• RQ3 절댓값과 같은 단순한 리프시츠 함수를 근사할 때 GroupSort는 ReLU와 어떻게 비교되는가?
• RQ4 GroupSort 기반의 비평가가 ReLU 기반 비평가보다 더 날카운 Wasserstein 거리 하한을 제공할 수 있는가?
• RQ5 GroupSort를 사용함으로써 청소된 정확도를 희생시키지 않고도 적대적 내성을 향상시킬 수 있는가?

주요 결과

• 노름 제약이 가해진 GroupSort 네트워크는 복잡하고 고차원적인 분포 간 Wasserstein 거리에 대해 ReLU 대비 더 날카운 하한을 확보한다.
• GroupSort 네트워크는 적대적 내성에서 ReLU 네트워크를 초월하며, PGD 공격 시 $\epsilon=0.3$ 조건에서 77.7%의 강건 정확도를 기록한 반면, ReLU는 62.2%에 그친다.
• Margin-0.3 MaxMin 네트워크는 PGD 공격 시 $\epsilon=0.3$ 조건에서 24.4%의 강건 정확도를 기록했으며, 이는 동일 조건에서 ReLU의 70.1% 청소 정확도를 크게 뛰어넘는 성과이다.
• 노름 제약이 가해진 ReLU 네트워크는 절댓값과 같은 단순한 리프시츠 함수를 근사하지 못하지만, GroupSort 네트워크는 이를 성공적으로 근사한다.
• 노름 제약이 가해진 GroupSort 네트워크는 일반화 및 해석 가능성 작업 모두에서 높은 성능를 유지하며, 균일한 기울기 스케일 덕분에 시각화가 용이하다.
• 이론적 분석을 통해 노름 제약이 가해진 GroupSort 네트워크가 $L_p$ 거리 기준으로 1-리프시츠 함수의 보편 근사기임을 확인하였다.