[논문 리뷰] Towards a Deeper Understanding of Adversarial Losses under a Discriminative Adversarial Network Setting

Hao‐Wen Dong, Yi‐Hsuan Yang|arXiv (Cornell University)|2019. 01. 25.

Adversarial Robustness in Machine Learning참고 문헌 28인용 수 12

한 줄 요약

이 논문은 판별적 적대적 네트워크(DANs)에서 적대적 손실에 대한 이론적 및 실험적 분석을 제공하며, 데이터 분포와 모델 분포 간의 발산 유사 측정값을 유도하기 위해 구성 요소 함수에 필요한 및 충분한 조건을 유도한다. 이는 다양한 적대적 손실을 평가하기 위한 비교 프레임워크인 DANTest를 제안하며, 향후 적대적 훈련 목표의 설계 가이드라인을 제공한다.

ABSTRACT

Recent work has proposed various adversarial loss functions for training either generative or discriminative models. Yet, it remains unclear what certain types of functions are valid adversarial losses, and how these loss functions perform against one another. In this paper, we aim to gain a deeper understanding of adversarial losses by decoupling the effects of their component functions and regularization terms. We first derive in theory some necessary and sufficient conditions of the component functions such that the adversarial loss is a divergence-like measure between the data and the model distributions. In order to systematically compare different adversarial losses, we then propose a new, simple comparative framework, dubbed DANTest, based on discriminative adversarial networks (DANs). With this framework, we evaluate an extensive set of adversarial losses by combining different component functions and regularization approaches. Our theoretical and empirical results can together serve as a reference for choosing or designing adversarial training objectives in future research.

연구 동기 및 목표

• 어떤 구성 요소 함수와 정규화 항이 데이터 분포와 모델 분포 간의 발산 유사 측정값처럼 행동하는 유효한 적대적 손실을 유도하는가를 명확히 하기 위해.
• 판별적 설정에서 기존의 적대적 손실 함수 간의 체계적인 비교 부족 문제를 해결하기 위해.
• 판별적 적대적 네트워크(DAN) 설정 하에서 다양한 적대적 손실을 평가하고 비교하기 위한 통합 프레임워크를 개발하기 위해.
• 효과적인 적대적 훈련 목표를 선택하거나 설계하기 위한 이론적 및 실험적 기초를 제공하기 위해.

제안 방법

• 구성 요소 함수에 대한 필수 및 충분한 조건을 이론적으로 유도하여, 적대적 손실이 데이터 분포와 모델 분포 간의 발산 유사 측정값으로 작용하도록 보장하기 위해.
• 다양한 구성 요소 함수 조합과 정규화 전략을 사용하여 적대적 손실을 평가하기 위한 판별적 적대적 네트워크 기반의 비교 프레임워크인 DANTest를 설계하기 위해.
• DANTest 프레임워크 하에서 광범위한 적대적 손실의 체계적 평가를 통해 성능과 행동을 통제된 조건에서 비교하기 위해.
• 이론적 분 析을 통해 적대적 훈련에서 바람직한 통계적 성질을 유지하는 함수 클래스를 식별하기 위해.
• 수렴성과 일반화에 미치는 영향을 연구하기 위해 정규화 항을 손실 공식에 통합하기 위해.

실험 결과

연구 질문

• RQ1 어떤 구성 요소 함수와 정규화 항이 적대적 손실이 데이터 분포와 모델 분포 간의 발산 유사 측정값처럼 행동하도록 보장하는가?
• RQ2 다양한 구성 요소 함수 조합과 정규화 전략 조합이 판별적 설정에서 적대적 손실의 성능에 어떻게 영향을 미치는가?
• RQ3 적대적 손실이 분포 간 차이를 유효한 측정값으로 간주할 수 있는 이론적 조건은 무엇인가?
• RQ4 제안된 DANTest 프레임워크는 다양한 적대적 손실을 공정하고 체계적으로 비교하는 데 어떻게 기여하는가?

주요 결과

• 이론적 분 析을 통해 데이터 분포와 모델 분포 간의 발산 유사 측정값으로 작용하기 위해 구성 요소 함수에 필요한 및 충분한 조건가를 규명하였다.
• DANTest 프레임워크를 통해 구성 요소 함수와 정규화 항을 분리함으로써 적대적 손실의 체계적이고 통제된 평가가 가능해졌다.
• 다양한 구성 요소 함수 조합과 정규화 전략 조합은 훈련 안정성과 성능에 상당한 영향을 미치며, 설계 선택의 중요성을 부각시켰다.
• 본 연구는 바람직한 통계적 성질을 유지하는 함수 클래스를 식별하여 향후 손실 설계에 대한 가이던스를 제공하였다.