[논문 리뷰] Statistical Inference of Intractable Generative Models via Classification

Michael U. Gutmann, Ritabrata Dutta외 2명|arXiv (Cornell University)|2014. 07. 18.

Statistical Mechanics and Entropy인용 수 6

한 줄 요약

이 논문은 유사 데이터와 관측 데이터 간의 이진 분류 작업으로 통계적 추론을 재구성함으로써 비계산 가능한 생성 모델에 대한 가능성 없는 추론 프레임워크를 제안한다. 분류 정확도를 이질성 측도로 사용함으로써, 명시적 가능도 계산이 필요 없이도 분류 방법의 전반적인 범위를 활용하여 효율적이고 확장 가능한 추론을 가능하게 한다.

ABSTRACT

Increasingly complex generative models are being used across the disciplines as they allow for realistic characterization of data, but a common difficulty with them is the prohibitively large computational cost to perform likelihood-based statistical inference. We consider here a likelihood-free framework where inference is done by identifying parameter values which generate simulated data adequately resembling the observed data. A major difficulty is how to measure the discrepancy between the simulated and observed data. Transforming the original problem into a problem of classifying the data into simulated versus observed, we find that classification accuracy can be used to assess the discrepancy. The complete arsenal of classification methods becomes thereby available for inference of intractable generative models.

연구 동기 및 목표

• 복잡한 생성 모델에서 가능도 기반 추론의 높은 계산 비용을 해결하기 위해.
• 계산 가능성이 없는 가능도를 가진 모델을 위한 확장 가능한 가능도 기반 추론의 대안을 개발하기 위해.
• 명시적 가능도 계산 없이도 관측 데이터와 시뮬레이션 데이터 간의 이질성을 측정하기 위해.
• 분류 방법을 생성 모델링에서의 통계적 추론 도구로 활용하기 위해.
• 다양한 비계산 가능한 모델에 적용 가능한 유연하고 일반적인 프레임워크를 제공하기 위해.

제안 방법

• 관측 데이터와 생성 모델에서 시뮬레이션된 데이터를 구분하는 이진 분류 작업으로 추론 문제를 재정의하기.
• 훈련된 판별기의 분류 정확도를 사용하여 관측 데이터와 시뮬레이션 데이터 간의 이질성을 정량화하기.
• 높은 분류 정확도는 시뮬레이션 데이터가 관측 데이터와 쉽게 구별된다는 증거이므로 적합도가 낮음을 의미하고, 낮은 정확도는 적합도가 높음을 의미한다.
• 관측 데이터와 시뮬레이션 데이터의 쌍을 사용하여 이질성 측도를 추정하기 위해 분류기를 훈련하기.
• 예를 들어, 근사 베이지안 계산 또는 순차 몬테카를로와 같은 가능성 없는 추론 파이프라인에서 이 이질성 측도를 사용하기.
• 신경망, 랜덤 포레스트 등 어떤 오프더쇼프 분류 모델이라도 사용하여 고차원 데이터에 확장 가능하게 하기.

실험 결과

연구 질문

• RQ1 분류 정확도가 가능성 없는 추론에서 통계적 이질성에 대한 신뢰할 수 있는 대체 측도로 기능할 수 있는가?
• RQ2 기존의 가능도 기반 또는 ABC 기반 추론과 비교해 볼 때, 제안된 방법은 정확도와 효율성 측면에서 어떻게 다른가?
• RQ3 표준 분류 모델을 사용해 계산 가능성이 없는 가능도를 가진 생성 모델의 매개변수를 얼마나 잘 추론할 수 있는가?
• RQ4 고차원 데이터에 적용했을 때 성능에 심각한 손실 없이 이 프레임워크를 적용할 수 있는가?
• RQ5 분류기 성능과 사후 분포 근사의 품질 사이의 관계는 어떠한가?

주요 결과

• 분류 정확도는 관측 데이터와 시뮬레이션 데이터 간의 이질성을 타당하고 효과적으로 측정할 수 있으며, 가능성 없는 추론을 가능하게 한다.
• 명시적 가능도 계산이 필요 없이도 효율적인 추론이 가능하여 계산 오버헤드를 감소시킨다.
• 이 프레임워크는 어떤 분류 모델(딥 네트워크, 트리 기반 모델 포함)과도 적용 가능하여 일반성을 확보한다.
• 기준 문제에서 기존의 가능성 없는 추론 방법과 경쟁 가능한 추론 정확도를 달성한다.
• 분류 기반 이질성 측도를 사용함으로써 고차원 데이터 환경에서도 확장 가능한 추론이 가능하다.
• 이 방법은 복잡하고 현실적인 데이터 분포를 포함한 다양한 생성 모델과 데이터 유형에서 뛰어난 강건성을 보였다.