[論文レビュー] The Intrinsic Dimension of Images and Its Impact on Learning

Phil Pope, Chen Zhu+3 more|arXiv (Cornell University)|Apr 18, 2021

Adversarial Robustness in Machine Learning参考文献 43被引用数 23

ひとこと要約

この論文は、次元推定ツールを用いて自然画像データセットの内部次元（ID）を調査し、ImageNetのような高次元の環境次元（例：150,528ピクセル）を持つにもかかわらず、これらのデータセットは非常に低い内部次元—推定では26から43の間—を示していることを示している。研究では、低い内部次元が、深層学習における訓練のサンプル複雑性の低減と一般化性能の向上と強く相関していることを示しており、深層ネットワークが画像データに対して成功を収める背景に、低次元構造が存在することを裏付ける。

ABSTRACT

It is widely believed that natural image data exhibits low-dimensional structure despite the high dimensionality of conventional pixel representations. This idea underlies a common intuition for the remarkable success of deep learning in computer vision. In this work, we apply dimension estimation tools to popular datasets and investigate the role of low-dimensional structure in deep learning. We find that common natural image datasets indeed have very low intrinsic dimension relative to the high number of pixels in the images. Additionally, we find that low dimensional datasets are easier for neural networks to learn, and models solving these tasks generalize better from training to test data. Along the way, we develop a technique for validating our dimension estimation tools on synthetic data generated by GANs allowing us to actively manipulate the intrinsic dimension by controlling the image generation process. Code for our experiments may be found here https://github.com/ppope/dimensions.

研究の動機と目的

• MNIST、CIFAR-10、ImageNetなどの代表的な画像データセットの内部次元を実証的に測定すること。
• 深層学習における内部次元とサンプル複雑性の関係を調査すること。
• 既知の潜在次元を持つGANによって生成された合成データを用いて、次元推定ツールの妥当性を検証すること。
• 一般化性能の予測に、外在次元（環境空間）と内部次元のどちらがより適切かを検討すること。
• データ拡張やノイズ注入を用いて内部次元を制御可能な実験フレームワークを構築すること。

提案手法

• 実データおよび合成データに対して、異なるk近傍点数を用いた最尤推定法（MLE）を適用し、内部次元を推定した。
• 条件付きGANを用いて、潜在ノイズ次元によって制限される、制御可能な内部次元を持つ合成画像データを生成した。
• 実データセット（例：CIFAR-10）に、次元が変化する一様分布のノイズを注入し、内部次元を体系的に増加させた。
• スケーリング、回転などの幾何的拡張を段階的に増加させたFONTSデータセットを構築し、内部次元を制御可能にした。
• 内部次元が異なるデータのサブセットを用いて深層ニューラルネットワークを訓練し、収束に必要なサンプル複雑性を測定した。
• 内部次元推定の妥当性と一貫性を確保するため、複数のk値（3, 4, 5, 10, 20）を用いてMLEを実行した。

実験結果

リサーチクエスチョン

• RQ1 MNIST、CIFAR-10、ImageNetといった広く使われている画像データセットの内部次元は何か？
• RQ2 内部次元は、深層ニューラルネットワークが一般化するために必要なサンプル複雑性にどのように影響するか？
• RQ3 外在次元（ピクセル数）が一般化性能に影響を与えるのか、それとも内部次元が主な要因となるのか？
• RQ4 既知の潜在次元を持つGANによって生成された合成データを用いて、内部次元推定ツールの妥当性を検証できるか？
• RQ5 実データセットにおけるデータ拡張やノイズ注入によって、内部次元をどの程度制御できるか？

主な発見

• ImageNetは1枚あたり150,528ピクセルの高次元を有するが、内部次元は26から43の間と推定され、極めて構造化されたデータであることが示された。
• 深層ニューラルネットワークの訓練におけるサンプル複雑性は、内部次元が増加するに従い単調に増加し、高いIDと多くの訓練サンプルが必要になるという明確な相関関係が確認された。
• 外在次元（例：ピクセル数）は一般化性能にほとんど影響を及ぼさず、一方で内部次元は学習効率と強く相関していた。
• 合成データの実験では、注入されたノイズの次元が増加するに従い、内部次元の推定値も一貫して上昇し、推定手法の信頼性が裏付けられた。
• FONTSデータセットでは、各追加のデータ拡張ステップごとに内部次元の推定値が上昇し、サンプル複雑性のトレンドも同様の傾向を示した。
• 既知の潜在次元（例：256, 512）を持つGANによって生成されたデータは、内部次元の推定値が真のノイズ次元に近く、推定パイプラインの妥当性が確認された。