[논문 리뷰] A non-parametric test to detect data-copying in generative models

Casey Meehan, Kamalika Chaudhuri외 1명|arXiv (Cornell University)|2020. 04. 12.

Artificial Intelligence in Games인용 수 11

한 줄 요약

이 논문은 생성 모델에서 데이터 복사(학습 샘플 또는 그의 미세한 변형을 기억하고 재생산하는 것)를 탐지하기 위해 비모수적 세 샘플 검정을 제안한다. 학습 데이터, 타겟 분포의 샘플, 모델이 생성한 샘플을 사용하여, 모델의 구조에 대한 가정 없이도 기억 현상을 탐지할 수 있으며, 다양한 모델과 데이터셋에서 뛰어난 탐지 성능을 보여준다.

ABSTRACT

Detecting overfitting in generative models is an important challenge in machine learning. In this work, we formalize a form of overfitting that we call {\em{data-copying}} -- where the generative model memorizes and outputs training samples or small variations thereof. We provide a three sample non-parametric test for detecting data-copying that uses the training set, a separate sample from the target distribution, and a generated sample from the model, and study the performance of our test on several canonical models and datasets. For code \& examples, visit this https URL

연구 동기 및 목표

• 생성 모델에서 데이터 복사를 특정 형태의 과적합으로 정의하고 공식화하기.
• 학습 샘플 또는 그의 미세한 변형을 기억하는 것을 탐지하는 데 도전 과제를 해결하기.
• 모델에 특화된 가정에 의존하지 않는 비모수적 세 샘플 검정을 개발하기.
• 다양한 표준 모델과 데이터셋에서 검정의 효과성을 평가하기.

제안 방법

• 검정은 세 가지 입력을 사용한다: 학습 데이터, 타겟 분포에서 별도로 추출한 샘플, 모델이 생성한 샘플.
• 샘플 간의 거리 상대적 순서에 기반한 비모수적 통계적 검정을 적용한다.
• 생성된 샘플이 학습 샘플과 타겟 샘플에 비해 비정상적으로 유사한지 비교하여 이상치 유사성을 탐지한다.
• 순위 기반 통계와 순열 검정에 의존함으로써 모수적 가정을 피한다.
• 모델에 종속되지 않은 검정으로, 어떤 생성 모델에도 적용 가능하도록 설계되었다.
• 다양한 벤치마크 모델과 데이터셋에서의 실증적 평가를 통해 절차의 타당성을 검증하였다.

실험 결과

연구 질문

• RQ1 모델의 구조에 대한 가정 없이도 비모수적 검정이 생성 모델에서 데이터 복사를 신뢰성 있게 탐지할 수 있는가?
• RQ2 세 샘플 검정이 기억된 샘플 또는 그 변형을 얼마나 효과적으로 식별할 수 있는가?
• RQ3 다양한 모델과 데이터셋에서 검정이 높은 검정력을 유지하는가?
• RQ4 기억 현상 수준과 데이터 분포의 변화가 다양한 경우에 검정의 성능은 어떻게 되는가?

주요 결과

• 제안된 검정은 다양한 벤치마크 데이터셋과 아키텍처에서 생성 모델의 데이터 복사 현상을 성공적으로 탐지한다.
• 학습 샘플의 미세한 변형에 국한된 기억 현상조차도 검정이 높은 탐지 성능를 유지한다.
• GAN, VAE, 순차적 생성 모델을 포함한 다양한 모델 유형에서 검정이 강건함을 입증한다.
• 실증 결과에 따르면, 모델에 특화된 튜닝 없이도 기존의 기준 방법보다 기억 현상을 더 잘 탐지함을 보여준다.
• 다양한 데이터 분포에서 검정 성능가 일관되므로 일반화 가능성이 높음을 시사한다.
• 모델 내부 정보나 모수적 가정에 접근하지 않더라도 기억 현상을 신뢰성 있게 탐지할 수 있다.