[논문 리뷰] Generative Adversarial Nets for Robust Scatter Estimation: A Proper Scoring Rule Perspective

Chao Gao, Yuan Yao외 1명|arXiv (Cornell University)|2019. 03. 05.

Image and Signal Denoising Methods참고 문헌 60인용 수 10

한 줄 요약

이 논문은 허버의 오염 모델 하에서 최소최대 최적 공분산 행렬 추정기의 효율적 계산을 가능하게 하는, 적절한 스코링 규칙의 관점에서 생성적 적대적 네트워크(GANs)를 이용한 강건한 산산 추정을 위한 새로운 프레임워크를 제안한다. 특정 신경망 아키텍처가 최소최대 속도 $\frac{p}{n} \vee \epsilon^2$를 달성함을 입증한다.

ABSTRACT

Robust scatter estimation is a fundamental task in statistics. The recent discovery on the connection between robust estimation and generative adversarial nets (GANs) by Gao et al. (2018) suggests that it is possible to compute depth-like robust estimators using similar techniques that optimize GANs. In this paper, we introduce a general learning via classification framework based on the notion of proper scoring rules. This framework allows us to understand both matrix depth function and various GANs through the lens of variational approximations of $f$-divergences induced by proper scoring rules. We then propose a new class of robust scatter estimators in this framework by carefully constructing discriminators with appropriate neural network structures. These estimators are proved to achieve the minimax rate of scatter estimation under Huber's contamination model. Our numerical results demonstrate its good performance under various settings against competitors in the literature.

연구 동기 및 목표

• 강건 통계를 위한 적절한 스코링 규칙에 기반한 일반적인 분류 기반 학습 프레임워크를 개발하기 위해.
• GAN과 강건한 산산 추정 간 격차를 해소하기 위해, 둘 다 f-발산의 변분 근사로 재구성함으로써.
• 허버의 오염 모델 하에서 최적의 강건한 공분산 추정을 위한 충분한 분류 능력을 갖춘 신경망 아키텍처를 설계하기 위해.
• 제안된 추정기가 허버의 오염 모델 하에서 최소최대 속도 $\frac{p}{n} \vee \epsilon^2$를 달성함을 증명하기 위해.
• 타원 분포를 가진 반구조적 모델로 프레임워크를 확장하여, 분류기 설계의 복잡도가 감소함을 보여주기 위해.

제안 방법

• 적절한 스코링 규칙을 사용하여 일반적인 학습 프레임워크를 수립하며, 이는 대칭 f-발산과 일대일 대응을 이룹니다.
• 세이지프 표현을 사용하여, GAN과 깊이 함수를 동일한 변분 최적화 프레임워크에 통합하는 부드러운 목적 함수를 유도합니다.
• ReLU 및 시그모이드 활성화를 갖는 분류기를 설계하며, 절편 항 포함 여부에 따라 적절한 네트워크 깊이(1 또는 2개의 은닉층)를 확보합니다.
• 생성자는 데이터 분포를 학습하고, 분류기는 적절한 스코링 규칙을 통해 f-발산을 근사하는 분류기 기반 추정기를 구성합니다.
• 탈라그란드 부등식과 라데마처 복잡도를 적용하여 일반화 오차를 바운드하고, 높은 확률의 농도 구간을 유도합니다.
• 횔더 부등식과 수학적 귀납법을 활용하여 깊은 네트워크의 리프시츠 상수를 제어함으로써 안정성과 수렴성을 확보합니다.

실험 결과

연구 질문

• RQ1 적절한 스코링 규칙을 사용하여 GAN과 강건한 깊이 기반 추정기 간의 통합을 동일한 통계적 프레임워크로 가능하게 할 수 있는가?
• RQ2 강건한 산산 추정에서 최소최대 최적성을 달성하기 위해 필요한 최소한의 신경망 아키텍처는 무엇인가?
• RQ3 분류기의 절편 노드 포함 여부가 최적 추정을 위한 네트워크 깊이에 영향을 미치는가?
• RQ4 제안된 프레임워크가 허버의 오염 모델 하에서 최소최대 속도 $\frac{p}{n} \vee \epsilon^2$를 달성할 수 있는가?
• RQ5 타원 분포를 가진 반구조적 모델로 프레임워크를 확장할 경우, 분류기의 복잡도가 감소하는가?

주요 결과

• 제안된 프레임워크는 적절한 스코링 규칙과 대칭 f-발산 간 일대일 대응을 수립하여, GAN과 깊이 함수를 통합적으로 다룰 수 있게 한다.
• 제안된 추정기는 허버의 오염 모델 하에서 이론적 하한과 일치하는 최소최대 속도 $\frac{p}{n} \vee \epsilon^2$를 달성한다.
• 절편이 없는 네트워크는 최소한 1개의 은닉층이 필요하고, 절편이 포함된 네트워크는 최소한 2개의 은닉층이 필요하여 충분한 분류 능력을 확보한다.
• 제안된 네트워크 클래스의 라데마처 복잡도는 $\lesssim \kappa B^{L-1} \sqrt{p/n}$로 유계가 되며, 일반화 보장을 뒷받침한다.
• 타원 분포로의 확장에서 분류기의 복잡도가 증가할 필요가 없음을 확인하여, 분포 가정에 대한 강건성을 보여준다.
• 탈라그란드 부등식을 통해 높은 확률의 농도 구간을 확립하였으며, 추정기가 기대값에서 벗어나지 않을 확률가능성이 $1 - \delta$ 이상임을 보여준다.