[논문 리뷰] Wasserstein Diffusion Tikhonov Regularization

A. T. Lin, Yonatan Dukler외 2명|arXiv (Cornell University)|2019. 01. 01.

Adversarial Robustness in Machine Learning참고 문헌 39인용 수 2

한 줄 요약

이 논문은 Tikhonov 정규화 방법을 제안하며, 워셔스타인-2 기하학을 사용하여 분류 모델의 클래스 내 변형과 적대적 편향에 대한 강건성을 향상시킨다. 입력 노이즈를 워셔스타인 정규분포로 모델링하고 손실 함수를 테일러 급수로 전개함으로써, 이미지 공간 내 의미 있는 이웃 관계를 포착하는 효율적이고 입력에 의존하는 부드러움 정규화 항을 도출한다. 이는 최소한의 계산 비용으로 높은 정규화 수준을 달성하고, CIFAR-10에서 일반화 성능을 향상시킨다.

ABSTRACT

We propose regularization strategies for learning discriminative models that are robust to in-class variations of the input data. We use the Wasserstein-2 geometry to capture semantically meaningful neighborhoods in the space of images, and define a corresponding input-dependent additive noise data augmentation model. Expanding and integrating the augmented loss yields an effective Tikhonov-type Wasserstein diffusion smoothness regularizer. This approach allows us to apply high levels of regularization and train functions that have low variability within classes but remain flexible across classes. We provide efficient methods for computing the regularizer at a negligible cost in comparison to training with adversarial data augmentation. Initial experiments demonstrate improvements in generalization performance under adversarial perturbations and also large in-class variations of the input data.

연구 동기 및 목표

• 소규모이자 인식하기 어려운 입력 편향, 특히 적대적 공격에 의해 발생하는 깊이 학습 모델의 열악한 일반화 성능을 해결하기 위해.
• 이미지 데이터의 의미적 구조를 포착하지 못하는 L2 기반의 부드러움 정규화 항의 한계를 극복하기 위해.
• 인간의 시각적 인식 방식을 반영한 데이터 기반, 기하학적 인식 정규화 전략을 개발하기 위해.
• 시험 정확도를 저하시키거나 과도한 계산 비용을 유발하지 않으면서도 높은 수준의 정규화를 가능하게 하기 위해.

제안 방법

• 입력 이미지 공간 상에서 워셔스타인-2 거리 척도를 사용해 리만 기하학을 정의함으로써, 위치에 따라 달라지는 이웃 정의를 가능하게 한다.
• 입력 공간 상에 워셔스타인 정규분포 노이즈를 정의하여, 이동이나 노이즈와 같은 자연스러운 이미지 변형을 모델링한다.
• 각 훈련 예제를 중심으로 워셔스타인 공간에서 손실 함수를 테일러 급수로 전개하여 정규화된 목적 함수를 유도한다.
• 전개된 손실 함수를 통합하여 Tikhonov 유형의 정규화 항을 유도함으로써, 워셔스타인 기울기 노름과 고차항을 벌어들이는 페널티 항을 생성한다.
• 역 메트릭 텐서로부터 유도된 선형 가중치가 부여된 라플라시안 행렬을 통해 정규화 항을 효율적으로 계산함으로써, 거의 무시할 수 없는 오버헤드를 유도한다.
• 정규화 항을 훈련 목적 함수에 통합하여, 의미 있는 방향으로의 부드러움을 강제하면서도 클래스 간의 유연성을 유지한다.

실험 결과

연구 질문

• RQ1 유럽 기하학 대비 워셔스타인 기하학이 이미지 분류 모델에 대해 더 효과적인 부드러움 사전 정보를 제공할 수 있는가?
• RQ2 최적 운반 이론 기반의 입력에 의존하는 노이즈가 적대적 공격과 자연스러운 클래스 내 변형에 모두 강건성을 향상시킬 수 있는가?
• RQ3 워셔스타인 기반 정규화를 통합할 경우, 적대적 데이터 증강 대비 계산 비용은 얼마나 되는가?
• RQ4 손실 함수의 테일러 전개에서 고차항이 일阶 기울기 페널티를 넘어서 일반화에 기여할 수 있는가?
• RQ5 제안된 정규화 항은 시험 정확도를 떨어뜨리지 않으면서도 효과적인 고차원 정규화를 가능하게 하는가?

주요 결과

• 제안된 워셔스타인 확산 정규화 항은 CIFAR-10에서 테스트 정확도를 유지하거나 향상시키면서도 높은 수준의 정규화를 가능하게 한다.
• 제안된 방법으로 훈련된 모델은 소규모 적대적 편향뿐 아니라 이동과 같은 대규모 클래스 내 변형에 대해서도 뚜렷한 강건성 향상을 보였다.
• 정규화 항은 거의 무시할 수 있는 계산 비용으로 계산 가능하며, 효율성 면에서 적대적 데이터 증강을 능가한다.
• 이 방법은 이미지 공간 내 의미 있는 이웃 관계를 자연스럽게 포착하여, 자연스러운 변형 방향으로의 결정 경계를 더 부드럽게 만든다.
• 유도된 정규화 항은 워셔스타인 기울기 페널티와 고차항을 포함하여, 기존의 L2 기반 방법보다 더 세밀한 부드러움 사전 정보를 제공한다.
• 초기 실험 결과는 이 방법이 다양한 편향 환경 하에서 일반화 성능을 향상시킴을 확인하며, 실제 데이터의 변형에 광범위하게 적용 가능할 가능성을 시사한다.