[論文レビュー] Characterizing Structural Regularities of Labeled Data in Overparameterized Models

Ziheng Jiang, Chiyuan Zhang+2 more|arXiv (Cornell University)|Feb 8, 2020

Machine Learning and Data Classification参考文献 25被引用数 7

ひとこと要約

本稿では、深層学習モデルがさまざまな訓練データサイズに対して個々のデータインスタンスにどれだけ一貫して一般化するかを定量化する一貫性スコアであるCスコアを導入する。MNIST、CIFAR-10、CIFAR-100、ImageNetでこのスコアを経験的に推定した結果、高密度モード（正規の例）から低密度モード（外れ値または分布外）へと例を効果的にランク付けでき、過パラメータ化されたモデルにおける誤標記データや構造的異常の検出に有効であることが示された。

ABSTRACT

Humans are accustomed to environments that contain both regularities and exceptions. For example, at most gas stations, one pays prior to pumping, but the occasional rural station does not accept payment in advance. Likewise, deep neural networks can generalize across instances that share common patterns or structures, yet have the capacity to memorize rare or irregular forms. We analyze how individual instances are treated by a model via a consistency score. The score characterizes the expected accuracy for a held-out instance given training sets of varying size sampled from the data distribution. We obtain empirical estimates of this score for individual instances in multiple data sets, and we show that the score identifies out-of-distribution and mislabeled examples at one end of the continuum and strongly regular examples at the other end. We identify computationally inexpensive proxies to the consistency score using statistics collected during training. We show examples of potential applications to the analysis of deep-learning systems.

研究の動機と目的

• データ分布における構造的正規性を捉える、インスタンスごとの一般化の測定を形式化すること。
• 多様な深層学習データセットにわたる一貫性スコアの推定に計算的に実行可能な手法を開発すること。
• 過パラメータ化されたモデルにおける正規で一般化可能な例とまれまたは不規則なインスタンスとの連続的領域を特定・分析すること。
• Cスコアを用いた実用的応用、たとえば外れ値検出や学習ダイナミクスの分析を可能にすること。
• 再現可能性および深層学習におけるデータ正規性に関する今後の研究を支援するため、事前に計算されたCスコアとコードを提供すること。

提案手法

• Cスコアは、元のデータ分布から抽出された増加するサイズの訓練セットを繰り返し使用してモデルを訓練し、保持されたインスタンスにおける予測精度の期待値として定義される。
• 一貫性プロファイル C_{P,n}(x,y) は、部分的な訓練セットで繰り返しモデルを訓練し、固定されたテストインスタンスの予測信頼度を測定することで計算される。
• スカラーのCスコアは、すべての訓練セットサイズ n における一貫性プロファイルの期待値を取ることで導出される。
• 著者らは、Cスコアの計算効率の良い代替指標を提案している。これには、ペアワイズ距離に基づくおよび学習速度に基づく推定器が含まれる。
• 標準的な畳み込みニューラルネットワークを用いて、MNIST、CIFAR-10、CIFAR-100、ImageNetで経験的推定が行われ、アーキテクチャ間でのスピアマン順位相関を用いて妥当性が検証された。
• 事前に計算されたCスコアとモデルチェックポイントが、公開利用および再現性を目的としてNumPy形式でリリースされた。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化された深層学習モデルにおける個々のデータインスタンスの構造的正規性をどのように定量化できるか？
• RQ2 Cスコアは、分布内かつ正規の例と、分布外または誤標記されたインスタンスをどの程度明確に区別できるか？
• RQ3 繰り返し訓練を必要とせずに、計算的に効率的な代理指標が真のCスコアを正確に近似できるか？
• RQ4 Cスコアは、さまざまなニューラルネットワークアーキテクチャやデータセットでどのように変化するか？
• RQ5 Cスコアは、モデルの挙動とデータ品質の分析において、どのような実用的応用を可能にするか？

主な発見

• Cスコアは、高密度モード（正規の例）から低密度モード（不規則または曖昧な例）への例の連続的ランク付けに成功しており、ImageNetの例では代表的で明確な例と曖昧な例の間で明確な視覚的分離が観察された。
• 学習速度に基づくCスコアの代理指標は、距離に基づく代理指標よりも真のCスコアとの相関が高く、より頑健で信頼性が高いことが示された。
• CIFAR-10で異なるアーキテクチャ（例：ResNet-18、VGG-11、VGG-16、Inception）間で計算されたCスコアのスピアマン順位相関は0.91を超えており、モデル間で強い一貫性があることが示された。
• Cスコアは誤標記や分布外の例を効果的に特定でき、低スコアのインスタンスはしばしばまれまたは曖昧な視覚的パターンに対応していた。
• Cスコアは、最適化手法ごとの一般化行動を比較するなど、学習ダイナミクスの詳細な分析を可能にした。
• 著者らは、CIFAR-10、CIFAR-100、ImageNetの事前計算済みCスコアとコードをリリースし、今後のデータ正規性およびモデル一般化に関する研究を促進した。