[論文レビュー] On the Strong Correlation Between Model Invariance and Generalization

Weijian Deng, Stephen Jay Gould+1 more|arXiv (Cornell University)|Jul 14, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

本稿では、データ変換における予測の一貫性と信頼度を測定することで、ラベルなしの新しい指標である有効不変性（EI）を導入し、モデルの不変性を定量化する。EIと汎化性能の間に強い線形相関が、多様なモデルやデータセット（分布内および分布外設定を含む）で確認され、ラベルなしのモデル選択や分布外性能予測が可能となる。

ABSTRACT

Generalization and invariance are two essential properties of any machine learning model. Generalization captures a model's ability to classify unseen data while invariance measures consistency of model predictions on transformations of the data. Existing research suggests a positive relationship: a model generalizing well should be invariant to certain visual factors. Building on this qualitative implication we make two contributions. First, we introduce effective invariance (EI), a simple and reasonable measure of model invariance which does not rely on image labels. Given predictions on a test image and its transformed version, EI measures how well the predictions agree and with what level of confidence. Second, using invariance scores computed by EI, we perform large-scale quantitative correlation studies between generalization and invariance, focusing on rotation and grayscale transformations. From a model-centric view, we observe generalization and invariance of different models exhibit a strong linear relationship, on both in-distribution and out-of-distribution datasets. From a dataset-centric view, we find a certain model's accuracy and invariance linearly correlated on different test sets. Apart from these major findings, other minor but interesting insights are also discussed.

研究の動機と目的

• モデルの汎化と不変性の関係について、体系的で定量的な分析が不足していることに対処すること。
• 予測の一貫性と信頼度の両方を考慮した、予測の信頼性が高く、ラベルに依存しない不変性指標を構築すること。
• 多様なモデルやデータセットを対象とした、不変性（EIを用いて）と汎化性能の関係を大規模に実証的に調査すること。
• テストラベルが不要な状況でも、EIを用いてラベルなしのモデル選択や分布外性能予測を可能にすること。

提案手法

• ベース画像とその変換版におけるモデル予測の一致度と信頼度を測定することで、有効不変性（EI）を新たな不変性指標として提案する。
• 信頼度加重一致スコアを用いる：高い一致度に高い信頼度が得られればEIは高くなる。逆に、不一致または低信頼度の場合はEIは低くなる。
• 150のImageNetモデルと8つのテストセット（分布内および分布外ベンチマークを含む）を対象に、回転およびグレースケール変換における不変性をEIで評価する。
• モデル中心およびデータセット中心の相関分析を実施し、EIとテスト精度の関係を検証する。
• 精度低下やジェンセン・ショーンャー・ダイバージェンスといった既存指標と比較し、特に分布外条件下でも優れたロバスト性とラベル独立性を示す。
• PyTorch 1.11.0とtimm 1.5を用い、3090Ti GPU上で標準化された評価パイプラインを実装し、公開済みのモデルとデータセットを用いる。

実験結果

リサーチクエスチョン

• RQ1 多様なモデルやデータセットにおいて、モデルの不変性と汎化性能の間には強い定量的相関が存在するか？
• RQ2 有効不変性（EI）は、モデルの汎化性能を信頼できるラベルなしの代理指標として機能するか？
• RQ3 ラベルが入手できない分布外データセットにおいて、EIで測定された不変性は、汎化性能とどのように相関するか？
• RQ4 トレーニング方式（例：データオーグメンテーション対比より多くのデータでの学習）は、不変性と汎化性能に顕著な影響を与えるか？
• RQ5 真のラベルが入手できない状況でも、EIを用いて分布外データセットにおけるモデル精度を予測できるか？

主な発見

• 150のモデルについて、分布内および分布外のデータセットにおいて、モデルの汎化性能（精度）と有効不変性（EI）の間に強い線形相関が確認された。
• ImageNet-Rendition や ImageNet-Corruption などの分布外データセットにおいて、モデルの精度とEIスコアの間に顕著な線形関係が認められ、ラベルなしで分布外精度を予測可能となった。
• 特に分布外条件下においても、精度低下やジェンセン・ショーンャー・ダイバージェンスといった既存の不変性指標よりも、EIが信頼性とラベル独立性に優れていることが示された。
• より大きなデータセットで事前学習したモデルは、より高いEIスコアと優れた汎化性能を示し、データスケールがデータオーグメンテーションよりも不変性向上に効果的であることを示唆した。
• CutMix や MixUp などの強力なデータオーグメンテーションを用いた学習は、不変性と汎化性能の両方を向上させるが、より多くのデータで事前学習を行うことでより大きな向上が得られた。
• ResNets や Vision Transformers（例：BEiT）、EfficientNetの変種を含む多様なアーキテクチャにおいても、EIと精度の相関関係が保持されており、広範な適用可能性が確認された。