[논문 리뷰] Skill Rating for Generative Models

Catherine Olsson, Surya Bhupatiraju외 3명|arXiv (Cornell University)|2018. 08. 14.

Artificial Intelligence in Games참고 문헌 18인용 수 27

한 줄 요약

이 논문은 에이로(Elo)와 같은 스킬 평가 체계를 사용하는 토너먼트 기반 평가 프레임워크를 제안하며, 생성 모델의 생성자와 판별자가 상호작용하는 적대적 매치를 통해 평가한다. 이 방법은 내부 트레이젝터리 토너먼트를 통해 학습 진행 상황을 추적하고, 교차 모델 토너먼트를 통해 훈련된 모델들을 비교함으로써, 거의 완벽한 생성자에 대해서도 실제 성능과 강한 상관관계를 보이는 것을 보여준다.

ABSTRACT

We explore a new way to evaluate generative models using insights from evaluation of competitive games between human players. We show experimentally that tournaments between generators and discriminators provide an effective way to evaluate generative models. We introduce two methods for summarizing tournament outcomes: tournament win rate and skill rating. Evaluations are useful in different contexts, including monitoring the progress of a single model as it learns during the training process, and comparing the capabilities of two different fully trained models. We show that a tournament consisting of a single model playing against past and future versions of itself produces a useful measure of training progress. A tournament containing multiple separate models (using different seeds, hyperparameters, and architectures) provides a useful relative comparison between different trained GANs. Tournament-based rating methods are conceptually distinct from numerous previous categories of approaches to evaluation of generative models, and have complementary advantages and disadvantages.

연구 동기 및 목표

• 계산적으로 실현 가능하고 개념적으로 탄탄한 방식으로 생성 모델을 평가하는 데 도전하는 것.
• 외부 벤치마크가 필요 없이 한 모델의 학습 진행 상황을 시간에 따라 모니터링할 수 있는 방법을 개발하는 것.
• 다양한 아키텍처, 시드, 하이퍼파라미터 간의 다수의 훈련된 생성 모델을 비교하기 위한 상대적 평가 프레임워크를 제공하는 것.
• 기존에 알려진 스킬 평가 체계(예: 에이로, 글릭오2)를 활용해 토너먼트 결과를 이해하기 쉬우며 확장 가능한 성능 지표로 요약하는 것.
• 표준 이미지 데이터셋을 초월해, 레이블이 없는 데이터 및 비이미지 모odal리티에도 적용 가능한 방법을 보여주는 것.

제안 방법

• 각 매치에서 생성자가 판별자를 속여 가짜 샘플을 진짜로 분류하도록 하는 적대적 토너먼트를 구성한다.
• 승리율을 직접적인 지표로 사용: 판별자가 생성된 샘플 중 얼마나 많은 비율을 진짜로 잘못 분류하는지 평균한 값.
• 매치 결과에 기반해 각 생성자에 대한 잠재적 스킬 값을 추론하기 위해 스킬 평가 체계(예: 에이로 또는 글릭오2)를 적용한다.
• 부분적인 매치 결과로부터 확률적 추론을 사용해 모든 n²번의 매치를 실행하지 않아도 n명의 참가자를 효율적으로 평가할 수 있도록 한다.
• 실제 데이터와 다른 생성자에서 훈련된 판별자를 사용해, 생성자가 거의 완벽한 경우조차도 새로운 생성자 샘플을 평가할 수 있도록 한다.
• 표준 이미지 데이터셋뿐 아니라, 레이블이 없는 데이터와 토이 분포를 포함한 비표준 모달리티에서도 방법을 검증한다.

실험 결과

연구 질문

• RQ1 토너먼트 기반 평가가 단일 생성 모델의 학습 진행 상황을 신뢰할 수 있고 확장 가능한 방식으로 측정할 수 있는가?
• RQ2 스킬 평가 체계가 다양한 아키텍처, 시드, 하이퍼파라미터 간의 다수의 훈련된 생성 모델을 효과적으로 순위 매길 수 있는가?
• RQ3 한 모델에서 훈련된 판별자가 다른 모델의 샘플, 특히 다른 GAN 변종과 비-GAN 생성자에 대한 샘플을 판단하는 데 얼마나 잘 일반화되는가?
• RQ4 표준 임베딩이 없는 데이터셋이나 비이미지 모달리티에도 이 방법을 적용할 수 있는가?
• RQ5 통제된 환경에서 분포 유사도(예: 공분산 차이)와 같은 실제 성능 지표와의 상관관계에서 스킬 평가는 어떻게 되는가?

주요 결과

• 모델의 동일한 생성자와 판별자 스크립트를 다양한 학습 반복 단계에서 비교하는 내부 트레이젝터리 토너먼트는 학습 진행 상황을 측정하는 데 유용한 연속적 측정 지표를 제공한다.
• 토너먼트에서 유도된 스킬 평가는 실제 성능 지표(예: 토이 가우시안 문제에서 공분산 행렬의 평균 절대 차이)와 강한 상관관계를 보인다.
• 한 생성자에서 훈련된 판별자는 다른 생성자(다른 아키텍처를 포함)의 샘플을 성공적으로 평가할 수 있어 일반화 능력을 보여준다.
• 생성자가 거의 완벽한 경우에도 이 방법은 효과를 유지한다. 특히 전공분산 가우시안 분포를 모델링하기 위해 훈련한 GAN에서의 실험을 통해 이를 입증했다.
• 토너먼트 기반 평가는 인간 평가자가 필요 없으며 재현 가능하며, 인구 집단에 따라 변하는 인간 기반 평가 지표와 달리 반복 가능한 성능을 보인다.
• 스킬 평가 체계는 n명의 참가자 간 상대적 성능을 n²번의 매치보다 훨씬 적은 수의 매치로 추론할 수 있어 확장 가능한 평가를 가능하게 한다.