[論文レビュー] Informative Features for Model Comparison

Wittawat Jitkrittum, Heishiro Kanagawa+4 more|arXiv (Cornell University)|Oct 27, 2018

Machine Learning and Data Classification被引用数 14

ひとこと要約

本稿では、2つの確率的モデル間の相対的な適合度を評価する、2つの新しい非パラメトリックで線形時間計算量の統計的検定を提案する。この手法により、一方のモデルが他方よりも優れているとされるデータ領域を解釈可能に特定できる。本手法は、Rel-MMDなどの最先端手法と同等の検出力を持つ一方で、10倍以上高速であり、有用な検定場所を提供することで、実用的で即時の意思決定を可能にする。

ABSTRACT

Given two candidate models, and a set of target observations, we address the problem of measuring the relative goodness of fit of the two models. We propose two new statistical tests which are nonparametric, computationally efficient (runtime complexity is linear in the sample size), and interpretable. As a unique advantage, our tests can produce a set of examples (informative features) indicating the regions in the data domain where one model fits significantly better than the other. In a real-world problem of comparing GAN models, the test power of our new test matches that of the state-of-the-art test of relative goodness of fit, while being one order of magnitude faster.

研究の動機と目的

• 既存のモデル比較手法が、一方のモデルが他方よりも優れている「場所」を特定できないという限界を解消すること。
• 相対的適合度のための計算効率が良く、線形時間計算量を有する非パラメトリック検定を開発すること。
• 特定のデータ領域（有用な特徴）において、一方のモデルが他方よりも優れていることを、解釈可能な局所的インサイトとして提供すること。
• GANのような生成モデルのトレーニング中やハイパーパramータチューニング時に、実用的でリアルタイムなモデル比較を可能にすること。
• 2つのバリエーションを提供することで、既存手法を補完すること——1つはサンプルに基づくもの、もう1つは密度関数に基づくもので、それぞれモデル適合の異なる側面を強調する。

提案手法

• 相対的モデル比較に適応したMaximum Mean Discrepancy (MMD)フレームワークに基づく、線形時間の2標本検定を提案する。
• 2番目の検定では、2つのモデルの確率密度関数（またはそれらの正規化されていない形）を用い、Steinの手法にインspiredされた三路分割検定を活用する。
• モデル適合の差が最も顕著に現れる場所（データポイント）を特定するための検出力基準を採用する。
• 手動でのテスト場所指定なしに、最も特徴的なデータ領域を自動で発見するためのグリーディー最適化手順を用いる。
• 事前学習済み畳み込みニューラルネットワークから抽出した深層特徴にガウスカーネルを適用し、高次元空間における類似度を測定する。
• テスト場所は、検出力基準を最大化または最小化するように選択され、これにより一方のモデルが他方よりも顕著に優れている領域が特定される。

実験結果

リサーチクエスチョン

• RQ1 一方のモデルが他方よりも優れている場所を特定可能であり、計算効率も高い相対的適合度検定を開発できるか？
• RQ2 提案手法の検出力と実行時間は、最先端のRel-MMD検定と比較してどの程度か？
• RQ3 本手法は、特定のデータ領域（例：手書き数字）において、一方のGANモデルが他方よりもリアルなサンプルを生成することを特定できるか？
• RQ4 トレーニング中にモデル品質に非単調な変化（あるモードでは改善、他のモードでは劣化）が生じた場合、本手法はそれを特定できるか？
• RQ5 手動でのラベル付けなしに、グリーディー最適化により、2つのモデル間の最も特徴的な特徴を反映するテスト場所を自動で最適化できるか？

主な発見

• 提案手法のRel-UME検定は、最先端のRel-MMD検定と同等の検出力を達成しており、実行時間において顕著な優位性を示しており、10倍以上高速である。
• GANトレーニングの実験において、17エポックで学習したモデルが、15エポックで学習したモデルよりも「6」の生成において優れていることを正しく同定した。一方、15エポックモデルは「3」と「9」の生成において優れていた。
• 15エポック対17エポックモデルの比較において、「3」と「9」の数字では検出力基準の値が主に負であったため、初期のモデルがこれらの領域で優れていたことが示された。
• 「6」の数字では、検出力基準が主に正であったため、後発のモデルがその領域でより優れたサンプルを生成していることが確認された。
• クラス不均衡に対しても本手法の結果は頑健であった。両モデルともほぼ均等なクラス比率で数字を生成しており、差が分布の不一致によるものではなく、生成品質の差によるものであることが確認された。
• 検出力基準のグリーディー最適化により、手動での選択と同一の特徴的領域（例：「6」や「3」）を効果的に特定できた。これにより、自動的なテスト場所発見の可能性が裏付けられた。