[論文レビュー] Skill Rating for Generative Models

Catherine Olsson, Surya Bhupatiraju+3 more|arXiv (Cornell University)|Aug 14, 2018

Artificial Intelligence in Games参考文献 18被引用数 27

ひとこと要約

本論文は、Eloなどのスキルレーティングシステムを用いたトーナメントベースの評価フレームワークを提案する。生成モデルの生成器と識別器が敵対的マッチで競い合う仕組みであり、トレーニングの進行状況をトラッキングするための内部軌道トーナメントと、訓練済みモデル同士を比較するためのクロスモデルトーナメントを可能にする。近い完璧な生成器に対しても、真の性能と強い相関を示す。

ABSTRACT

We explore a new way to evaluate generative models using insights from evaluation of competitive games between human players. We show experimentally that tournaments between generators and discriminators provide an effective way to evaluate generative models. We introduce two methods for summarizing tournament outcomes: tournament win rate and skill rating. Evaluations are useful in different contexts, including monitoring the progress of a single model as it learns during the training process, and comparing the capabilities of two different fully trained models. We show that a tournament consisting of a single model playing against past and future versions of itself produces a useful measure of training progress. A tournament containing multiple separate models (using different seeds, hyperparameters, and architectures) provides a useful relative comparison between different trained GANs. Tournament-based rating methods are conceptually distinct from numerous previous categories of approaches to evaluation of generative models, and have complementary advantages and disadvantages.

研究の動機と目的

• 計算的に実行可能で、概念的にも堅牢な生成モデルの評価方法を提供すること。
• 外部ベンチマークを必要とせず、1つのモデルのトレーニング進行状況を時間経過とともにモニタリングできる手法を開発すること。
• 異なるアーキテクチャ、シード、ハイパーパrameterを対象とした複数の訓練済み生成モデルを相対的に評価するフレームワークを提供すること。
• Elo や Glicko2 などの既存のスキルレーティングシステムを活用し、トーナメントの結果を解釈可能でスケーラブルな性能指標に要約すること。
• 標準的な画像データセットにとどまらず、ラベルなしデータや非画像モダリティにも本手法が適用可能であることを示すこと。

提案手法

• 生成器が識別器に偽のサンプルを「本物」と分類させようとする敵対的マッチを含むトーナメントを構築する。
• 勝率を直接指標とする：識別器が生成されたサンプルを本物と誤分類する割合の平均値。
• Elo や Glicko2 などのスキルレーティングシステムを用い、マッチの結果に基づいて各生成器の潜在的スキル値を推定する。
• 部分的なマッチ結果から確率的推論を行うことで、すべての n² マッチを実行しなくても n プレイヤーのレーティングを効率的に算出可能にする。
• 本物のデータと他の生成器で訓練された識別器を用い、生成器がほぼ完璧な状態であっても、未観測の生成器のサンプルを評価可能にする。
• 標準的な画像データセットに加え、ラベルなしデータやおもちゃ分布を含む非標準的なモダリティでも本手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 トーナメントベースの評価は、1つの生成モデルのトレーニング進行状況を信頼性高くスケーラブルに測定できるか？
• RQ2 スキルレーティングシステムは、異なるアーキテクチャ、シード、ハイパーパrameterを持つ複数の訓練済み生成モデルを効果的にランク付けできるか？
• RQ3 1つの生成器で訓練された識別器は、他の生成器のサンプル（異なる GAN のバリエーションや非 GAN 生成器を含む）を適切に評価できるか？
• RQ4 標準的な埋め込みが存在しないデータセットや非画像モダリティに対しても本手法は適用可能か？
• RQ5 制御された環境下で、分布の類似度（例：共分散行列の絶対差）といった真の指標と、スキルレーティングの相関はどの程度高いか？

主な発見

• モデル自身の異なるトレーニング段階での生成器と識別器の間で行う内部軌道トーナメントは、トレーニング進行状況を測るための有用で連続的な指標を提供する。
• トーナメントから導かれるスキルレーティングは、真の性能指標（例：おもちゃのガウス分布問題における共分散行列の平均絶対差）と強い相関を示す。
• 1つの生成器で訓練された識別器は、他の生成器（異なるアーキテクチャを含む）のサンプルを効果的に評価でき、一般化能力を示している。
• 生成器がほぼ完璧な状態であっても、本手法は有効であることが、全共分散ガウス分布をモデル化する GAN を用いた実験で示された。
• 人間の評価者を必要とせず、再現可能であるため、人間の判断に依存する指標とは異なり、集団によってばらつきがない。
• スキルレーティングシステムにより、n プレイヤーの相対的性能を n² マッチ未満で推定可能であり、スケーラブルな評価が可能になる。