[論文レビュー] Morpho-MNIST: Quantitative Assessment and Diagnostics for Representation Learning

Daniel C. Castro, Jeremy Tan+3 more|arXiv (Cornell University)|Sep 27, 2018

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 18

ひとこと要約

本稿では、MNISTに測定可能な形態的属性（例：線画の太さ、傾き、幅、高さ）と摂動を追加した定量的フレームワーク、Morpho-MNISTを紹介する。これにより、表現学習の客観的評価が可能となり、生成モデルの学習済み表現を真値の形状メトリクスと比較することで、データ内の変動要因をどれだけうまく分離・捉えているかを明らかにする。

ABSTRACT

Revealing latent structure in data is an active field of research, having introduced exciting technologies such as variational autoencoders and adversarial networks, and is essential to push machine learning towards unsupervised knowledge discovery. However, a major challenge is the lack of suitable benchmarks for an objective and quantitative evaluation of learned representations. To address this issue we introduce Morpho-MNIST, a framework that aims to answer: "to what extent has my model learned to represent specific factors of variation in the data?" We extend the popular MNIST dataset by adding a morphometric analysis enabling quantitative comparison of trained models, identification of the roles of latent variables, and characterisation of sample diversity. We further propose a set of quantifiable perturbations to assess the performance of unsupervised and supervised methods on challenging tasks such as outlier detection and domain adaptation. Data and code are available at https://github.com/dccastro/Morpho-MNIST.

研究の動機と目的

• 教師なしおよび自己教師ありモデルにおける表現学習を評価するための客観的で定量的なベンチマークの不足に対処すること。
• 線画の太さや数字の傾きといった、特定の測定可能な変動要因を、訓練済みモデルがどれだけ正確に捉えているかを客観的に評価できること。
• 再現可能で拡張可能なフレームワークを提供し、分離性、モード崩壊、サンプルの多様性といったモデル挙動の診断を可能にすること。
• 広く使われているMNISTデータセットに、形態計測分析と制御された摂動を追加し、表現品質の厳密な評価を可能にすること。
• 既存モデルの事後分析と、生成モデルおよび予測モデル向けの新しい評価プロトコルの開発を両立すること。

提案手法

• 著者らは、画像モーメントに基づく解析を用いて、MNISTの数字画像から抽出可能な測定可能な形態的属性（線画の太さ、長さ、幅、高さ、傾き）のセットを定義する。
• モデルの耐性と分離性の評価を目的として、グローバルなスリムニング、太り、局所的膨張、破壊などの制御された摂動を導入し、変更されたデータセットを生成する。
• 実データと生成データの形態的メトリクスの同時分布を比較するために、スコットのルールから導かれるガウスカーネル帯域幅を用いた最大平均差分（MMD）のような統計的検定をフレームワークが使用する。
• 形態計測分布を訓練、テスト、摂動付きデータセット間で可視化・比較し、潜在空間における過剰・不足表現といったモデル挙動の診断に活用する。
• 本手法は、生成サンプルをこれらの定量的メトリクスを通じて分析することで、すでに訓練済みのモデルに対する事後評価を可能にする。
• 本アプローチはMNISTに限らず、dSpritesでの実証例からも示されるように、適切な属性測定が可能な非画像データに対しても一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 訓練済みモデルが、MNISTにおける線画の太さや数字の傾きといった、特定の測定可能な変動要因をどれだけ正しく表現しているか。
• RQ2 生成モデルは、実データと比較して、形態的属性の同時分布をどれだけ正確に保持しているか。
• RQ3 局所的膨張や破壊といった摂動を用いることで、モード崩壊や不完全な分離といった失敗モードを診断できるか。
• RQ4 さまざまな表現学習手法は、ラスタライズド2次元画像における形状レベルの属性をどれだけ正確に捉え、分離しているか。
• RQ5 形態計測分析は、単なる定性的なサンプルの点検では見えない、モデル挙動に関するインサイトを明らかにできるか。

主な発見

• 形態計測分析により、分離性を目的とした訓練が施されたモデルが、線画の太さや傾きといった個々の属性をより正確に捉えていることが判明。実データと生成データのメトリクス分布の整合性が明確に高まっている。
• グローバルなスリムニングや太りといった摂動により、モデルが全範囲の形態的変動をカバーできないモード崩壊の診断が明確に可能となった。
• スコットのルールから導かれる帯域幅を用いたMMD検定により、実データと生成データの形態計測データの分布類似度を信頼性高く定量化でき、モデルの忠実度による順位付けが可能になった。
• フレームワークは、視覚的に妥当な数字を生成しているにもかかわらず、幅や高さといった重要な属性を一貫して捉えていないモデルの診断に成功。これは、分離性の欠如を示している。
• 形態計測アプローチにより、一部の生成モデルが、極端に幅が広がったが高さが最小限のような、非現実的な属性の同時分布を生成していることが検出された。これは、個々のメトリクスが正しく抽出されていても、分布全体としての不整合を示しており、分布の失敗を示している。
• 本手法はMNISTに限らず、dSpritesデータセットでも一般化可能であることが実証された。ここでは、位置やスケールといった形状属性も同様に測定可能で、分析可能である。