[논문 리뷰] A Test of Relative Similarity For Model Selection in Generative Models

Wacha Bounliphone, Eugene Belilovsky외 3명|arXiv (Cornell University)|2015. 11. 14.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 12

한 줄 요약

이 논문은 유사도가 계산이 불가능하거나 계산에 비용이 많이 드는 경우에 깊이 있는 생성 모델 간의 모델 선택을 위해 상대 MMD(Relative MMD)라는 비모수적 통계적 가설 검정을 제안한다. 실제 기준 데이터셋에 비해 샘플이 더 가까운 모델을 평가하기 위해 각 모델의 샘플과 기준 데이터 간의 최대 평균 차이(MMD) 값의 차이를 사용하며, 이 방법은 동일한 기준 데이터셋으로부터 두 모델의 MMD 값 간의 상관관계가 있는 이변량 점근 분포를 유도하여 유의성 검정을 가능하게 한다. 이는 가능도가 계산이 어려운 경우에도 신뢰할 수 있는 모델 선택을 가능하게 하며, 딥 생성 모델에서 가능도, 정확도, 변분 경계와의 일치를 보여준다.

ABSTRACT

Probabilistic generative models provide a powerful framework for representing data that avoids the expense of manual annotation typically needed by discriminative approaches. Model selection in this generative setting can be challenging, however, particularly when likelihoods are not easily accessible. To address this issue, we introduce a statistical test of relative similarity, which is used to determine which of two models generates samples that are significantly closer to a real-world reference dataset of interest. We use as our test statistic the difference in maximum mean discrepancies (MMDs) between the reference dataset and each model dataset, and derive a powerful, low-variance test based on the joint asymptotic distribution of the MMDs between each reference-model pair. In experiments on deep generative models, including the variational auto-encoder and generative moment matching network, the tests provide a meaningful ranking of model performance as a function of parameter and training settings.

연구 동기 및 목표

• 가능도가 계산이 불가능하거나 계산에 비용이 많이 드는 깊이 있는 생성 모델에서의 모델 선택 과제를 해결하기 위해.
• 실제 기준 데이터셋에 비해 상대적으로 더 가까운 샘플을 생성하는 두 개의 생성 모델을 비교하기 위한 통계적으로 엄밀하고 분산이 낮은 방법을 개발하기 위해.
• 가능도나 고비용의 교차검증에 의존하지 않고, 한 모델의 샘플이 다른 모델보다 기준에 유의미하게 더 가까운지 여부를 판단하는 가설 검정을 제공하기 위해.
• 최대 평균 차이(MMD)의 활용을 학습을 넘어서 모델 평가 및 통계적 유의성과 함께 모델 선택에까지 확장하기 위해.

제안 방법

• 검정은 각 모델의 생성 샘플과 실제 기준 데이터셋 간의 MMD 값의 차이를 통계량으로 사용한다.
• 서로 다른 두 모델이 동일한 기준 데이터셋으로부터 유도된 두 개의 상관관계가 있는 MMD 값의 공동 점근 분포를 도출하며, 이는 비동일한 분포 조건 하에서도 유의성 검정을 가능하게 한다.
• 귀무가설은 두 번째 모델이 첫 번째 모델보다 기준에 유의미하게 더 가까운 것이 아니라는 것이며, 대립가설은 첫 번째 모델이 더 가까운 것이다.
• 이 방법은 비모수적이며 U-통계량 기반으로, 다중 종속 통계량으로의 일반화와 강건한 점근적 행동을 가능하게 한다.
• 각 확률 분포의 고유한 임bedding을 가능하게 하기 위해 특성 커널을 사용하여 MMD가 확률 분포에 대해 적절한 거리 측도가 되도록 보장한다.
• VAE와 GMMN에서 다양한 학습 제도와 하이퍼파ram터 설정에 대해 적용하여 모델 성능 순위를 매긴다.

실험 결과

연구 질문

• RQ1 가능도가 계산이 어려운 상황에서, 한 생성 모델의 샘플이 다른 모델보다 실제 데이터 분포에 더 유의미하게 가까운지 판단할 수 있는 통계적 검정을 개발할 수 있는가?
• RQ2 서로 다른 두 모델이 동일한 기준 데이터셋으로부터 유도된 두 개의 MMD 값 간의 공동 점근 분포는 비동일한 분포 조건 하에서 어떻게 도출할 수 있는가?
• RQ3 상대 MMD 검정은 가능도, 분류 정확도, 변분 하한과 같은 기존 평가 지표와 일치하는 모델 성능 순위를 제공하는가?
• RQ4 가능도 계산이 필요 없이, 다양한 모델 아키텍처와 학습 설정에서 성능 차이를 신뢰성 있게 탐지할 수 있는가?

주요 결과

• 합성 실험에서 귀무가설과 대립가설 조건 하에서 상대 MMD 검정은 더 높은 샘플 품질을 가진 모델을 정확히 식별하였다.
• MNIST 데이터셋에서 GMMN 층 수가 적고 은닉 뉴런 수가 많은 모델이 검정에서 유의미하게 선호되었으며, 이는 높은 가능도와 더 나은 분류 정확도와 일치하였다.
• 검정은 파르젠 창 로그가능도와 변분 하한과 강한 일치를 보였으며, 이는 평가 지표로서의 신뢰성을 검증하였다.
• 고비용의 교차검증이나 순열 검정이 필요 없이 통계적 유의성 보장을 제공하였다.
• 계산적으로 효율적(이차 시간 복잡도)이며 일致성 있고, 분포 간 모멘트 매칭 비교에 대한 수렴 기반 이론적 근거가 있다.
• 결과적으로 MMD는 학습 외적으로도 깊이 있는 생성 모델에서 원칙적이고 통계적 유의성 기반의 모델 선택에 사용될 수 있음을 보여주었다.