[論文レビュー] Verifying the Union of Manifolds Hypothesis for Image Data

Bradley C. A. Brown, Anthony L. Caterini+3 more|arXiv (Cornell University)|Jul 6, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本稿では、従来の多様体仮説よりも画像データ構造をより正確に特徴付けるために、多様体の和仮説を提唱する。画像データが一様な内挿次元を持つ単一の低次元多様体上にあるのではなく、異なる内挿次元を持つ非連結な多様体の和上にあることを示している。プッシュフォワード深層生成モデルと内挿次元推定を用いて、MNIST や CIFAR-100 などのデータセットにおいて、クラス間で非連結なサポートが存在することを実証的に検証した。高内挿次元のクラスは分類が難しく、内挿次元に比例した重み付けを交差エントロピー損失に施すことで分類精度が向上することを示した。

ABSTRACT

Deep learning has had tremendous success at learning low-dimensional representations of high-dimensional data. This success would be impossible if there was no hidden low-dimensional structure in data of interest; this existence is posited by the manifold hypothesis, which states that the data lies on an unknown manifold of low intrinsic dimension. In this paper, we argue that this hypothesis does not properly capture the low-dimensional structure typically present in image data. Assuming that data lies on a single manifold implies intrinsic dimension is identical across the entire data space, and does not allow for subregions of this space to have a different number of factors of variation. To address this deficiency, we consider the union of manifolds hypothesis, which states that data lies on a disjoint union of manifolds of varying intrinsic dimensions. We empirically verify this hypothesis on commonly-used image datasets, finding that indeed, observed data lies on a disconnected set and that intrinsic dimension is not constant. We also provide insights into the implications of the union of manifolds hypothesis in deep learning, both supervised and unsupervised, showing that designing models with an inductive bias for this structure improves performance across classification and generative modelling tasks. Our code is available at https://github.com/layer6ai-labs/UoMH.

研究の動機と目的

• 従来の多様体仮説（すべてのデータに対して一様な低次元多様体と一定の内挿次元を仮定する）に挑戦すること。
• 画像データが実際に異なる内挿次元を持つ非連結な多様体の和上にあるかどうかを調査すること。
• 標準的な画像データセット上で、プッシュフォワード深層生成モデルと内挿次元推定を用いて、多様体の和仮説を実証的に検証すること。
• この仮説が深層学習、特に教師ありおよび教師なし学習タスクに与える影響を調査すること。
• 多様体の和をモデル化することで、分類および生成モデルの性能が向上することを示すこと。

提案手法

• 非連結なサポートをモデル化できないという理論的結果を活用し、プッシュフォワード深層生成モデル（DGM）を用いて、非連結なデータサポートがモデル化可能かどうかを検証する。
• 各クラスの画像データに対してクラス固有のDGMを学習し、同じ計算リソース制約下でグローバルな1つのDGMと性能を比較することで、サポートの非連結性を推論する。
• Popeら（2021）の手法を用い、k-NN法による局所的内挿次元推定を各クラスごとに実施する。
• 教師あり学習において、交差エントロピー損失を内挿次元に比例した重みで再重み付けすることで、高次元クラスの分類精度を向上させる。
• 画像データセット上で非連結なDGM（非連結プッシュフォワードモデル）を学習・評価し、生成モデルの性能を評価する。
• データオーグメンテーションを一切行わず、VGG-19、ResNet-18、ResNet-34 などの標準的な深層学習アーキテクチャを用いることで、内挿次元推定が一貫性を持ち、混同されないようにする。

実験結果

リサーチクエスチョン

• RQ1 画像データのサポートは真に非連結であり、異なるクラスが異なる連結成分を形成しているか？
• RQ2 画像データセット内の異なるクラスは顕著に異なる内挿次元を示しているか？
• RQ3 内挿次元に基づいて交差エントロピー損失を再重み付けすることで、分類性能が向上するか？
• RQ4 非連結な深層生成モデルは、標準的なDGMよりも生成モデルタスクで優れた性能を示すか？
• RQ5 多様体の和仮説は、教師ありおよび教師なしの深層学習タスクにおいて、より優れた誘導的バイアスを提供するか？

主な発見

• 同じ計算リソース制約下でクラス固有のDGMがグローバルDGMよりも優れた性能を示したことから、画像データのサポートは実証的に非連結であることが裏付けられた。
• MNIST や CIFAR-100 のようなデータセットにおいて、クラス間で内挿次元に顕著な差が見られ、たとえばMNISTの「8」と「1」のクラスは他のクラスよりも高い内挿次元を示した。
• 内挿次元がより高いクラスは、分類が困難であり、そのクラスのベースライン精度が低いことからも明らかになった。
• 内挿次元に比例した重み付けを交差エントロピー損失に施すことで、特に高次元クラスにおいて分類精度が向上し、この仮説が教師あり学習における有用性を示した。
• 非連結DGMは、複数のデータセットとアーキテクチャにおいて、標準DGMと同等の性能を達成しており、新たなモデル化パラダイムとしての可能性を検証した。
• 多様体の和仮説は、単一多様体仮説よりもより正確な誘導的バイアスを提供し、分類および生成モデルの両タスクで性能向上をもたらした。