[논문 리뷰] Approximating Lipschitz continuous functions with GroupSort neural networks

Ugo Tanielian, Maxime Sangnier외 1명|arXiv (Cornell University)|2020. 06. 09.

Adversarial Robustness in Machine Learning참고 문헌 2인용 수 8

한 줄 요약

이 논문은 제약 조건이 부여된 가중치를 가진 GroupSort 신경망이 임의의 리프시츠 연속 조각별 선형 함수를 정확히 표현할 수 있음을 보이며, 일반적인 1-리프시츠 연속 함수를 효율적으로 근사함으로써 표준 ReLU 네트워크보다 뛰어난 강건성과 표현력을 제공한다. 이는 깊이와 크기의 이론적 상한을 수립하고, 그룹 크기를 증가시킬수록 표현력이 향상됨을 보여주며, 함수 근사 및 워샤프스타인 거리 추정에서의 시뮬레이션 실험을 통해 검증된다.

ABSTRACT

Recent advances in adversarial attacks and Wasserstein GANs have advocated for use of neural networks with restricted Lipschitz constants. Motivated by these observations, we study the recently introduced GroupSort neural networks, with constraints on the weights, and make a theoretical step towards a better understanding of their expressive power. We show in particular how these networks can represent any Lipschitz continuous piecewise linear functions. We also prove that they are well-suited for approximating Lipschitz continuous functions and exhibit upper bounds on both the depth and size. To conclude, the efficiency of GroupSort networks compared with more standard ReLU networks is illustrated in a set of synthetic experiments.

연구 동기 및 목표

• 제약 조건이 부여된 가중치 하에서 GroupSort 신경망의 표현력을 이해하는 것, 특히 리프시츠 연속 함수에 대해.
• 리프시츠 연속 조각별 선형 함수를 표현하기 위해 필요한 깊이와 크기의 이론적 상한을 수립하는 것.
• 그룹 크기를 증가시킬수록 GroupSort 네트워크의 표현력이 어떻게 향상되는지 조사하는 것.
• 함수 회귀 및 워샤프스타인 거리 근사 작업에서 GroupSort 네트워크와 ReLU 네트워크를 경험적으로 비교하는 것.
• GroupSort 네트워크가 유한한 리프시츠 상수를 유지하면서도 높은 성능을 유지함으로써 적대적 공격에 대한 강건성을 향상시킬 수 있음을 보여주는 것.

제안 방법

• 저자들은 사전 정의된 뉴런 그룹 내에서 전활성화를 정렬하는 GroupSort 활성화 함수를 사용하여 네트워크의 리프시츠 상수를 더 잘 제어할 수 있도록 한다.
• 전체 네트워크가 1-리프시츠 연속성을 유지하도록 가중치 행렬에 제약 조건을 도입한다.
• 이론적 분석을 통해 임의의 1-리프시츠 조각별 선형 함수를 표현하기 위해 필요한 GroupSort 네트워크의 깊이와 크기의 상한을 도출한다.
• 이 프레임워크는 컴acts 집합 위에서 일반적인 1-리프시츠 연속 함수의 근사로 확장되며, 근사 오차의 상한이 네트워크의 깊이와 너비와 관련이 있음을 제시한다.
• 그룹 크기를 증가시킬수록 네트워크 내 선형 영역의 수가 크게 증가함을 보여주며, 이는 표현력 향상에 기여한다.
• 노이즈 및 정상 조건 하에서의 회귀 및 워샤프스타인 거리 추정에서 GroupSort와 ReLU 네트워크를 비교하는 시뮬레이션 실험을 통해 경험적 검증을 수행한다.

실험 결과

연구 질문

• RQ1 제약 조건이 부여된 가중치를 가진 GroupSort 신경망은 임의의 리프시츠 연속 조각별 선형 함수를 정확히 표현할 수 있는가?
• RQ2 1-리프시츠 조각별 선형 함수를 표현하기 위해 필요한 GroupSort 네트워크의 깊이와 크기의 이론적 상한은 무엇인가?
• RQ3 그룹 크기를 증가시킬수록 GroupSort 네트워크의 표현력과 선형 영역 수는 어떻게 영향을 받는가?
• RQ4 노이즈가 있는 및 없는 조건에서 GroupSort 네트워크는 1-리프시츠 함수를 근사할 때 표준 ReLU 네트워크보다 어떻게 다른가?
• RQ5 GroupSort 네트워크는 유한한 리프시츠 상수를 유지하면서도 워샤프스타인 거리 추정에서 ReLU 네트워크보다 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제약 조건이 부여된 가중치를 가진 GroupSort 네트워크는 1-리프시츠 연속 조각별 선형 함수를 정확히 표현할 수 있으며, 깊이와 크기에 대해 증명 가능한 상한이 존재한다.
• 그룹 크기를 증가시킬수록 선형 영역의 수가 크게 증가하여 네트워크의 표현력이 향상된다.
• 정상 조건 하의 회귀 설정에서 제약 조건이 없는 ReLU 네트워크는 균일 노름에서 약간 더 뛰어난 성능를 보이지만, 이는 리프시츠 상수가 1을 초과하는 것을 수반한다.
• 노이즈가 있는 조건에서 제약 조건이 없는 ReLU 네트워크는 과적합되며 리프시츠 상수가 약 2.7로 높아져 일반화 성능이 열 劣하다. 반면 GroupSort 네트워크는 강건한 성능 유지를 유지한다.
• 노이즈가 없는 및 있는 회귀 작업 모두에서 GroupSort 네트워크는 정규직교화된 ReLU 네트워크보다 더 뛰어난 성능를 보이며, 더 안정적인 리프시츠 상수를 유지한다.
• 워샤프스타인 거리 근사에서 GroupSort 네트워크는 ReLU 네트워크를 능가하며, 유한한 리프시츠 함수가 필요한 GAN 기반 응용 분야에서의 적합성을 입증한다.