[논문 리뷰] Controlling Neural Level Sets

Matan Atzmon, Niv Haim외 4명|arXiv (Cornell University)|2019. 05. 28.

Adversarial Robustness in Machine Learning참고 문헌 37인용 수 44

한 줄 요약

이 논문은 신경망 레벨 세트를 손실 함수에 직접 샘플링하고 통합하는 확장 가능한 방법을 제시하여 의사 결정 경계와 다양체 표면을 제어할 수 있게 하며, 일반화, 적대적 강건성, 3D 표면/곡선 재구성에 적용됩니다.

ABSTRACT

The level sets of neural networks represent fundamental properties such as decision boundaries of classifiers and are used to model non-linear manifold data such as curves and surfaces. Thus, methods for controlling the neural level sets could find many applications in machine learning. In this paper we present a simple and scalable approach to directly control level sets of a deep neural network. Our method consists of two parts: (i) sampling of the neural level sets, and (ii) relating the samples' positions to the network parameters. The latter is achieved by a sample network that is constructed by adding a single fixed linear layer to the original network. In turn, the sample network can be used to incorporate the level set samples into a loss function of interest. We have tested our method on three different learning tasks: improving generalization to unseen data, training networks robust to adversarial attacks, and curve and surface reconstruction from point clouds. For surface reconstruction, we produce high fidelity surfaces directly from raw 3D point clouds. When training small to medium networks to be robust to adversarial attacks we obtain robust accuracy comparable to state-of-the-art methods.

연구 동기 및 목표

• 신경망 레벨 세트를 실용 도구로 다루는 동기 부여와 형식을 갖춘 제 formalization.
• 레벨-세트 샘플을 네트워크 매개변수에 미분 가능하게 연결하는 샘플 네트워크를 개발합니다.
• 레벨-세트 기반 손실이 일반화와 적대적 강건성을 어떻게 개선하는지 시연합니다.
• 점군으로부터 표면과 곡선을 암시적 레벨 세트 표현으로 재구성하는 방법을 시연합니다.
• 신경망 레벨 세트가 ReLU 활성화로 모델링된 보편성 결과를 통해 이론적 근거를 제공합니다.

제안 방법

• 신경망 F의 매개변수 θ에 대해 S(θ) = {x | F(x; θ) = 0} 로서의 신경망 레벨 세트를 정의합니다.
• 일반화된 뉴턴 반복을 사용하여 S(θ) 위의 점 p를 샘플링하여 레벨 세트에 투영합니다.
• F에 고정 선형 층을 추가하여 p가 θ에 대해 미분 가능하게 의존하도록 하여 샘플 네트워크 p(θ)를 구성합니다.
• 샘플 네트워크를 S(θ)의 프록시로 포함하는 손실 함수를 형성합니다.
• 출력 공간이 아닌 입력 공간의 여유를 증가시키기 위해 기하학적 여유 기반 손실(기하학적 SVM)을 제안합니다.
• 입력 공간에서 작용하는 레벨 세트 샘플에 대한 거리를 활용하여 적대적 섭동에 견디는 강건한 훈련 손실을 개발합니다.
• 주어진 점군을 보정하도록 레벨 세트 표면이 근사하고 지나가도록 재구성 손실을 적용하여 표면과 곡선을 재구성합니다.
• R^d에서 모든 watertight 지오메트릭 조각-선형(hypersurface)은 ReLU 활성화가 있는 MLP의 신경망 레벨 세트로 정확히 표현될 수 있음을 보이는 기하학적 보편성 정리를 증명합니다.

실험 결과

연구 질문

• RQ1 신경 네트워크 레벨 세트를 효율적으로 샘플링하고 미분 가능 손실에 통합할 수 있나요?
• RQ2 레벨 세트 샘플을 통해 마진을 직접 제어하면 소규모 데이터 영역에서 일반화가 개선되나요?
• RQ3 레벨-세트 기반 손실이 적대적 섭동에 대한 강건성을 향상시키나요?
• RQ4 신경망 레벨 세트를 사용하여 점군으로부터 곡선과 표면을 재구성하고 고충실도 암시적 표현을 얻을 수 있나요?
• RQ5 조각형-선형 매니폴드를 신경망 레벨 세트로 표현하는 기하학적 보편성 보장이 존재하나요?

주요 결과

Method	Dataset	Arch.	Attack	ε_train	Test Acc.	Rob. Acc.	Xent Rob. Acc.	Margin
Standard	MNIST	ConvNet-4a	PGD 40 (ε_attack=0.3)	-	99.34%	13.59%	0.00%	-
Madry et al.	MNIST	ConvNet-4a	PGD 40 (ε_attack=0.3)	0.3	99.35%	96.04%	96.11%	-
Madry et al.	MNIST	ConvNet-4a	PGD 40 (ε_attack=0.3)	0.4	99.16%	96.54%	96.53%	-
TRADES	MNIST	ConvNet-4a	PGD 40 (ε_attack=0.3)	0.3	98.97%	96.75%	96.74%	-
TRADES	MNIST	ConvNet-4a	PGD 40 (ε_attack=0.3)	0.4	98.62%	96.78%	96.76%	-
Ours	MNIST	ConvNet-4a	PGD 40 (ε_attack=0.3)	0.4	99.35%	99.23%	97.35%	-
Standard	CIFAR-10	ConvNet-4b	PGD 20 (ε_attack=0.031)	-	83.67%	0.00%	0.00%	-
Madry et al.	CIFAR-10	ConvNet-4b	PGD 20 (ε_attack=0.031)	0.031	71.86%	39.84%	38.18%	-
Madry et al.	CIFAR-10	ConvNet-4b	PGD 20 (ε_attack=0.031)	0.045	63.66%	41.53%	39.13%	-
TRADES	CIFAR-10	ConvNet-4b	PGD 20 (ε_attack=0.031)	0.031	71.24%	41.89%	38.40%	-
TRADES	CIFAR-10	ConvNet-4b	PGD 20 (ε_attack=0.031)	0.045	68.24%	42.04%	38.18%	-
Ours	CIFAR-10	ConvNet-4b	PGD 20 (ε_attack=0.031)	0.045	71.96%	38.45%	38.54%	-
Standard	CIFAR-10	ResNet-18	PGD 20 (ε_attack=0.031)	-	93.18%	0.00%	0.00%	-
Madry et al.	CIFAR-10	ResNet-18	PGD 20 (ε_attack=0.031)	0.031	81.0%	47.29%	46.58%	-
Madry et al.	CIFAR-10	ResNet-18	PGD 20 (ε_attack=0.031)	0.045	74.97%	49.84%	48.02%	-
TRADES	CIFAR-10	ResNet-18	PGD 20 (ε_attack=0.031)	0.031	83.04%	53.31%	51.36%	-
TRADES	CIFAR-10	ResNet-18	PGD 20 (ε_attack=0.031)	0.045	79.52%	53.49%	51.22%	-
Ours	CIFAR-10	ResNet-18	PGD 20 (ε_attack=0.031)	0.045	81.30%	79.74%	43.17%	-

• 샘플-네트워크 구성은 레벨 세트 샘플과 네트워크 매개변수 간의 미분 가능 연결을 제공하여 S(θ)에 대한 손실 기반 제어를 직접 수행할 수 있게 합니다.
• 기하학적 SVM 손실은 MNIST, Fashion-MNIST, CIFAR-10에서 소규모 데이터 비율로 학습할 때 교차 엔트로피 및 힌지 손실에 비해 일반화를 개선합니다.
• 레벨 세트 기반 여유를 사용하는 강건한 훈련은 MNIST와 CIFAR-10에서 여러 아키텍처에 대해 PGD 공격에 대해 경쟁력 있는 강건성을 달성하며, 여유 기반 공격에 대한 일부 타협이 있습니다.
• 이 방법은 원시 3D 점군에서 직접 표면 재구성을 가능하게 하며, FAUST 데이터에서 AtlasNet 대비 더 낮은 Chamfer 거리(낮을수록 좋음)를 달성하고, 스칼라 레벨 세트 표면과의 교차를 통해 곡선 재구성을 효과적으로 수행합니다.
• 기하학적 보편성 정리는 R^d에서 watertight한 모든 조각-선형 초곡면이 ReLU 활성화를 갖는 MLP의 신경망 레벨 세트로 정확히 표현될 수 있음을 보입니다.