[논문 리뷰] Bias Correction of Learned Generative Models using Likelihood-Free Importance Weighting

Aditya Grover, Jiaming Song외 5명|arXiv (Cornell University)|2019. 06. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 62인용 수 47

한 줄 요약

이 논문은 학습된 생성 모델로부터의 기대값을 편향되지 않게 만들기 위해 확률적 분류기를 학습하여 밀도 비율을 추정하는 가능도-없는 중요 가중치(LFIW)를 도입하고, 편향 관련 지표를 개선하며 데이터 증강과 모델 기반 오프 정책 평가와 같은 응용에 도움을 준다.

ABSTRACT

A learned generative model often produces biased statistics relative to the underlying data distribution. A standard technique to correct this bias is importance sampling, where samples from the model are weighted by the likelihood ratio under model and true distributions. When the likelihood ratio is unknown, it can be estimated by training a probabilistic classifier to distinguish samples from the two distributions. We employ this likelihood-free importance weighting method to correct for the bias in generative models. We find that this technique consistently improves standard goodness-of-fit metrics for evaluating the sample quality of state-of-the-art deep generative models, suggesting reduced bias. Finally, we demonstrate its utility on representative applications in a) data augmentation for classification using generative adversarial networks, and b) model-based policy evaluation using off-policy data.

연구 동기 및 목표

• 학습된 생성 모델에서 계산된 기대값의 편향을 동기부여하고 형식화한다.
• 몬테카를로 추정의 편향을 제거하기 위해 가능도-없는 중요 가중치(LFIW) 프레임워크를 제안하고 밀도 비율을 추정한다.
• 가중치를 안정화하기 위한 실용적 변형(자기 정규화, 플래튼화, 클리핑)을 개발한다.
• 적합도 지표 및 다운스트림 작업(데이터 증강, MBOPE)에서의 개선을 시연한다.
• 유도된 가중 분포가 데이터 분포에 대한 적합도를 실제로 개선하는 이론적 조건을 제시한다

제안 방법

• p_theta가 p_data와 다를 때 몬테카를로 기대값의 편향을 형식화하고, 이진 분류기를 통해 밀도 비를 추정하는 LFIW를 제안한다.
• p_theta와 p_data의 샘플을 구분하도록 보정된 확률 분류기를 학습하고, 출력 값을 사용해 w_phi(x) = 감마 * c_phi(x) / (1 - c_phi(x)) 형태의 가중치를 계산한다.
• 추정된 가중치를 사용하여 기대값에 대한 편향-에서-편향 추정기를 정의하고, 변형으로 자기 정규화, 가중치 플래튼화 또는 클리핑을 적용한다.
• p_theta(x) * w_phi(x)와 비례하는 중요 재샘플링 생성모델 p_{theta,phi}를 구성하고 샘플링을 SIR(Sampling-Importance-Resampling)으로 구현한다.
• p_theta에서 p_{theta,phi}로의 개선을 위한 KL-발산 기반 조건을 도출하고, 실용적 추정 및 분산 고려를 논의한다.
• 세 가지 설정에 적용한다: CIFAR-10 모델(PixelCNN++, SNGAN)의 적합도 평가, 다중 클래스 분류를 위한 Omniglot 데이터 증강, 모델 기반 오프 정책 정책 평가(MuJoCo)

실험 결과

연구 질문

• RQ1 가능도-없는 중요 가중치가 학습된 생성 모델에서 파생된 기대값의 편향을 줄일 수 있는가?
• RQ2 LFIW가 표준 생성 모델 평가 지표와 데이터 증강, 오프 정책 정책 평가와 같은 다운스트림 작업에서 어떤 성능을 보이는가?
• RQ3 현실 세계 모델에서 LFIW를 가장 잘 안정화하는 실용적 변형(자기 정규화, 플래튼화, 클리핑)은 무엇인가?
• RQ4 유도된 가중 분포가 실제로 데이터 분포에 대한 적합도를 향상시키는 조건은 무엇인가?
• RQ5 도전적인 설정에서 편향 제거된 추정이 진정한(알 수 없는) 모델 성능에 얼마나 근접할 수 있는가?

주요 결과

• LFIW는 CIFAR-10의 최신 심층 생성 모델(PixelCNN++ 및 SNGAN)에서 적합도 지표의 편향을 지속적으로 줄였으며 편향 보정 메트릭에서 상당한 개선을 보였다.
• LFIW를 사용한 데이터 증강은 Omniglot에서 다중 클래스 분류 정확도를 생성 데이터 포인트 가중치 적용 시 66.03%에서 68.18%로 향상시켰다.
• MuJoCo 작업에서의 모델 기반 오프 정책 정책 평가에서 LFIW는 가치 추정의 RMSE를 감소시키고 horizon이 증가함에 따라 정책 평가의 정확성을 높인다.
• 자기 정규화된 LFIW가 일반적으로 실험 전체에서 가장 나은 실험적 성능을 제공하여 편향 감소와 분산 관리 사이의 균형을 잘 맞춘다.
• 이 접근법은 생성 모델에 대한 유연한 블랙 박스 래퍼로 작동하여 다운스트림 추정을 개선하지만 편향을 완전히 제거하진 못하므로 강력한 분류기와 충분한 데이터의 필요성을 시사한다.