[논문 리뷰] Lipschitz Certificates for Neural Network Structures Driven by Averaged Activation Operators

Patrick L. Combettes, Jean‐Christophe Pesquet|arXiv (Cornell University)|2019. 03. 03.

Adversarial Robustness in Machine Learning참고 문헌 54인용 수 11

한 줄 요약

이 논문은 피드포워드 신경망에서 날카로운 리프시츠 상수를 계산하기 위한 새로운 프레임워크를 제안한다. 이는 비확장성 평균화된 연산자와 애프린 변환의 복합체로 모델링함으로써 이루어지며, 기존의 곱셈 기반 상한 방법보다 더 정확하게 계층 간 상호작용을 포착함으로써, 특히 스칼라 비선형성을 사용하는 네트워크, 즉 표준 컨볼루션 아키텍처에 대해 더 날카로운 강건성 인증을 제공한다.

ABSTRACT

Obtaining sharp Lipschitz constants for feed-forward neural networks is essential to assess their robustness in the face of perturbations of their inputs. We derive such constants in the context of a general layered network model involving compositions of nonexpansive averaged operators and affine operators. By exploiting this architecture, our analysis finely captures the interactions between the layers, yielding tighter Lipschitz constants than those resulting from the product of individual bounds for groups of layers. The proposed framework is shown to cover in particular many practical instances encountered in feed-forward neural networks. Our Lipschitz constant estimates are further improved in the case of structures employing scalar nonlinear functions, which include standard convolutional networks as special cases.

연구 동기 및 목표

• 입력 변형에 대한 강건성을 더 정확히 평가하기 위해 딥 피드포워드 네트워크에서 리프시츠 상수를 추정하는 데 더 정확한 방법을 개발하는 것.
• 신경망 계층을 비확장성 평균화된 연산자와 애프린 사상의 복합체로 모델링하여 계층 간 상호작용의 보다 세밀한 분석을 가능하게 하는 것.
• 개별 계층 노름의 곱으로 유도된 느슨한 상한을 피하기 위해 기존 리프시츠 추정을 향상시키는 것.
• 스칼라 비선형 활성화 함수를 사용하는 네트워크에 대해 프레임워크를 특화시켜, 표준 컨볼루션 신경망과 같은 일반적인 아키텍처에 대해 개선된 추정을 도출하는 것.

제안 방법

• 프레임워크는 각 계층을 비선형 활성화를 나타내는 평균화된 연산자와 선형 가중치 및 편향을 나타내는 애프린 변환의 복합체로 모델링한다.
• 비확장성 및 애프린 연산자의 복합체로 전체 네트워크를 분석하기 위해 연산자 이론 도구를 활용함으로써 더 날카로운 전반적 리프시츠 추정이 가능해진다.
• 개별 계층 상한을 집계하는 대신, 복합 시스템의 스펙트럼 성질과 연산자 노름을 분석하여 리프시츠 상수를 유도한다.
• 스칼라 비선형성의 경우, 구조적 단순화를 활용하여 도출된 리프시츠 추정을 추가로 강화한다.
• 잔차 연결 및 컨볼루션 네트워크를 포함한 다양한 네트워크 유형으로 일반화하기 위해, 그들의 구조를 평균화된 연산자 프레임워크 내에 통합한다.

실험 결과

연구 질문

• RQ1 계층 간 상호작용을 더 정확히 모델링함으로써, 피드포워드 신경망에 대해 더 날카로운 리프시츠 상수를 유도할 수 있는 방법은 무엇인가?
• RQ2 평균화된 연산자 복합체는 표준 곱셈 기반 노름 상한에 비해 강건성 인증에 어떤 방식으로 개선을 이끌어내는가?
• RQ3 이 프레임워크는 스칼라 비선형 활성화 함수를 사용하는 네트워크에 대해 개선된 추정을 도출할 수 있는가?
• RQ4 기존 리프시츠 추정 기법에 비해 제안된 방법은 실제 세계 아키텍처에 대해 날카로움과 적용 가능성 측면에서 어떻게 비교되는가?

주요 결과

• 이상적인 곱셈 기반 상한 방법보다 계층 간 의존성을 더 정확히 포착함으로써, 제안된 방법은 표준 곱셈 기반 상한에 비해 상당히 더 날카로운 리프시츠 상수를 도출한다.
• 추상적 연산자 기반 수식을 통해 잔차 연결과 컨볼루션 계층을 포함한 피드포워드 네트워크 전반에 걸쳐 적용 가능하다.
• ReLU나 시그모이드와 같은 스칼라 비선형성을 사용하는 네트워크의 경우, 구조적 단순화를 활용하여 리프시츠 추정이 추가로 향상된다.
• 이론적 기반을 제공함으로써, 이전의 느슨한 노름 곱에 의존하는 방법보다 더 정확하고 더 일반적인 강건성 인증을 가능하게 한다.