[논문 리뷰] Lipschitz Networks and Distributional Robustness

Zac Cranko, Simon Kornblith외 2명|arXiv (Cornell University)|2018. 09. 04.

Adversarial Robustness in Machine Learning참고 문헌 21인용 수 6

한 줄 요약

이 논문은 깊이 있는 신경망에서 리프시츠 연속성과 분포로 보존성 사이의 이론적 연결을 확립한다. 분포로 보존성 위험은 모델의 리프시츠 상수를 포함하는 정규화된 경험 위험에 의해 상한으로 제시됨을 보여준다. 주요 기여는 보존성 위험 최소화를 위한 폐쇄형 이중 표현을 제안하는 것으로, 이는 리프시츠 정규화의 효과성을 정당화하고 정량화한다. 이는 적대적 보존성과 일반화에 대한 함의를 지닌다.

ABSTRACT

Robust risk minimisation has several advantages: it has been studied with regards to improving the generalisation properties of models and robustness to adversarial perturbation. We bound the distributionally robust risk for a model class rich enough to include deep neural networks by a regularised empirical risk involving the Lipschitz constant of the model. This allows us to interpretand quantify the robustness properties of a deep neural network. As an application we show the distributionally robust risk upperbounds the adversarial training risk.

연구 동기 및 목표

• 딥 러닝 모델에서 리프시츠 연속성과 분포로 보존성 사이의 관계를 체계화하는 것.
• 모델의 리프시츠 상수를 사용하여 분포로 보존성 위험의 폐쇄형 상한을 유도하는 것.
• 리프시츠 정규화가 분포 이동 및 적대적 편향에 대한 저항성과 연결됨을 이론적으로 정당화하는 것.
• l∞-노름 편향 설정 하에서 적대적 보존성이 와서슈스타인 거리 기반 분포로 보존성의 특수한 경우임을 보여주는 것.

제안 방법

• 펜첼 쌍대성과 최적 운반 이론을 사용하여 분포로 보존성 위험의 이중 표현을 유도한다.
• 입력-라벨 공간 X × Y 에서 입력 및 라벨 거리와 초수치 κ 를 조합한 거리 함수 dS|κ 를 도입한다.
• 푸시포워드 위험 최소화 프레임워크를 사용하여 딥 보존성 분류 문제를 볼록 최적화 문제로 변환한다.
• 리프시츠 기반 페널티 항을 포함하는 정규화된 경험 위험이 분포로 보존성 위험을 상한으로 제시함을 증명한다.
• 이중 표현을 적용하여 l∞-노름 편향 설정 하에서 적대적 위험이 분포로 보존성 위험에 의해 상한으로 제시됨을 보여준다.
• 모델의 리프시츠 상수가 정규화된 목표 함수의 보존성 항을 직접 제어함을 보여주며, 이는 이론적으로 타당한 정규화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 신경망에 대한 분포로 보존성 위험은 리프시츠 상수를 포함하는 정규화된 경험 위험에 의해 상한으로 제시될 수 있는가?
• RQ2 리프시츠 정규화는 신경망에서 적대적 보존성과 어떻게 관련이 있는가?
• RQ3 다중 클래스 분류 문제에서 분포로 보존성 위험 최소화에 대한 폐쇄형 이중 표현이 존재하는가?
• RQ4 적대적 위험은 공식적으로 분포로 보존성의 특수한 경우로 해석될 수 있는가?

주요 결과

• 분포로 보존성 위험은 모델의 리프시츠 상수에 의존하는 정규화 항을 포함하는 정규화된 경험 위험에 의해 상한으로 제시된다.
• 다중 클래스 문제에서는 보존성 위험 최소화 문제가 모델의 손실 함수 리프시츠 상수를 명시적으로 포함하는 폐쇄형 이중 표현을 갖는다.
• l∞-노름 편향 설정 하에서 적대적 위험은 분포로 보존성 위험에 의해 상한으로 제시되며, 이는 적대적 보존성이 분포로 보존성의 특수한 경우임을 증명한다.
• 제안된 정규화된 목표 함수는 리프시츠 정규화 파라미터에 대해 이론적으로 타당한 해석을 제공하며, 히ュ리스틱한 선택을 이론적으로 근거 있는 값으로 대체한다.
• 이 방법은 딥 신경망을 포함한 광범위한 모델 클래스에 적용 가능하며, 손실 함수의 미약한 연속성과 볼록성 가정 하에서 경계가 유지된다.
• 이론적 프레임워크는 리프시츠 제약 네트워크가 일반화와 보존성을 향상시키는 데 있어 경험적으로 성공한 이유를 정당화한다.