[논문 리뷰] Robust Estimation and Generative Adversarial Nets

Chao Gao, Jiyi Liu외 2명|arXiv (Cornell University)|2018. 10. 04.

Advanced Statistical Methods and Models참고 문헌 55인용 수 24

한 줄 요약

이 논문은 f-GAN과 Huber의 ε-오염 모델에서의 강건한 깊이 기반 추정기 사이의 이론적 연결을 수립하며, 반만의 깊이 함수(예: 반평면 깊이)가 총 변동 거리의 변분 하한으로 간주될 수 있음을 보여준다. 특정 아키텍처를 갖춘 GAN 스타일의 신경망 분류기들을 활용하여, 모멘트가 존재하지 않을 수도 있는 가우시안 및 타원 분포 하에서 강건한 평균 추정에 대해 최소최대 최적 속도를 달성하는 계산적으로 효율적인 추정기를 개발한다.

ABSTRACT

Robust estimation under Huber's $ε$-contamination model has become an important topic in statistics and theoretical computer science. Statistically optimal procedures such as Tukey's median and other estimators based on depth functions are impractical because of their computational intractability. In this paper, we establish an intriguing connection between $f$-GANs and various depth functions through the lens of $f$-Learning. Similar to the derivation of $f$-GANs, we show that these depth functions that lead to statistically optimal robust estimators can all be viewed as variational lower bounds of the total variation distance in the framework of $f$-Learning. This connection opens the door of computing robust estimators using tools developed for training GANs. In particular, we show in both theory and experiments that some appropriate structures of discriminator networks with hidden layers in GANs lead to statistically optimal robust location estimators for both Gaussian distribution and general elliptical distributions where first moment may not exist.

연구 동기 및 목표

• f-GAN을 깊이 기반 추정기와 연결하여 강건 통계와 딥 생성 모델링을 다리장교로 연결한다.
• Huber의 ε-오염 모델 하에서 강건한 위치 추정을 위한 계산적으로 타당한 알고리즘을 개발한다.
• 고차원 및 꼬리가 무거운 설정에서 강건한 평균 추정에 대해 최소최대 최적 속도를 달성한다.
• 1차 모멘트가 존재하지 않을 수 있는 타원 분포로 통계적 최적성을 확장한다.
• 특정 딥 신경망 아키텍처가 최적의 깊이 기반 추정기를 근사할 수 있음을 보여준다.

제안 방법

• f-Learning를 통해 반만의 깊이 함수(예: 반평면 깊이)를 총 변동 거리의 변분 하한으로 공식화한다.
• 반만 기반 추정기를 근사하기 위해 ReLU 및 시그모이드 활성화 함수를 갖는 GAN 스타일의 분류기 네트워크를 구축한다.
• 이중 단계 학습 프로세스를 사용한다: 먼저 신경망 분류기를 통해 위치 매개변수를 추정하고, 이후 반복적 필터링 또는 차원 절반화를 통해 정밀도를 향상시킨다.
• 숨은 층과 스킵 연결을 갖춘 분류기를 설계하여 중앙값으로부터의 부호가 있는 거리를 모델링함으로써 Tukey의 중앙값을 근사한다.
• L층과 유한한 가중치를 갖는 네트워크 아키텍처가 일반화 오차 한계 O(√(p log p / n))를 갖는 것을 증명한다.
• 최소최대 속도 분석을 적용하여 추정기가 가우시안 및 타원 분포에서 최적 속도 p/n ∨ ε²를 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 f-GAN을 사용하여 Tukey의 중앙값과 같은 통계적으로 최적의 강건한 추정기를 계산할 수 있는가?
• RQ2 GAN 내 특정 딥 신경망 아키텍처가 최소최대 최적의 강건한 추정기를 이끄는 깊이 함수를 근사하는가?
• RQ3 제안된 방법이 ε-오염 하에서 강건한 평균 추정에 대해 최소최대 속도 p/n ∨ ε²를 달성할 수 있는가?
• RQ4 f-Learning과 데이터 깊이 함수 사이의 연결성이 가우시안 모델을 초월해, 꼬리가 두꺼운 타원 분포를 포함한 모델에서도 유효한가?
• RQ5 딥 러닝 기반 변분 근사법을 통해 깊이 기반 추정기의 계산 비용 문제를 해결할 수 있는가?

주요 결과

• 논문은 f-Learning 프레임워크 하에서 반만의 깊이 함수(예: 반평면 깊이)가 총 변동 거리의 변분 하한과 동일시됨을 수립한다.
• ReLU 및 시그모이드 활성화 함수를 갖는 특정한 GAN 분류기 아키텍처가 Tukey의 중앙값을 근사하고 최소최대 최적 추정 속도를 달성한다.
• 제안된 방법은 Huber의 ε-오염 모델 하에서 강건한 평균 추정에 대해 최소최대 속도 p/n ∨ ε²를 달성하며, 이는 이론적 하한과 정확히 일치한다.
• 1차 모멘트가 존재하지 않을 수 있는 타원 분포에서도 깊이 기반 목표 함수의 사용으로 인해 추정기가 여전히 최적임을 보여준다.
• 이론적 분석을 통해 신경망 기반 추정기의 일반화 오차가 높은 확률로 O(√(p log p / n))로 한정됨을 보여준다.
• 실험 결과는 고차원 및 꼬리가 두꺼운 설정에서 기존의 모멘트 기반 강건 추정기보다 본 방법이 뛰어난 성능을 보임을 확인한다.