[論文レビュー] A Decade's Battle on Dataset Bias: Are We There Yet?

Zhuang Liu, Kaiming He|arXiv (Cornell University)|Mar 13, 2024

Artificial Intelligence in Healthcare被引用数 8

ひとこと要約

本論文は、現代のニューラルネットワークが、画像が複数の大規模で多様なデータセットのいずれの出典かを正確に分類できることを示し、大規模であまりキュレーションされていないデータにおいてもデータセットバイアスが持続していることを示しています。

ABSTRACT

We revisit the "dataset classification" experiment suggested by Torralba & Efros (2011) a decade ago, in the new era with large-scale, diverse, and hopefully less biased datasets as well as more capable neural network architectures. Surprisingly, we observe that modern neural networks can achieve excellent accuracy in classifying which dataset an image is from: e.g., we report 84.7% accuracy on held-out validation data for the three-way classification problem consisting of the YFCC, CC, and DataComp datasets. Our further experiments show that such a dataset classifier could learn semantic features that are generalizable and transferable, which cannot be explained by memorization. We hope our discovery will inspire the community to rethink issues involving dataset bias.

研究の動機と目的

• 現代のアーキテクチャにおけるデータセットバイアスとモデル能力の再考を刺激する。
• 現在のデータセットがモデルが利用できる識別可能な出典署名を保持しているかどうかを実証的に評価する。
• 学習されたデータセット識別特徴が下流の意味タスクへ転移するかを調査する。
• データサイズ・拡張・モデルアーキテクチャ・自己教師あり事前学習がデータセット分類性能に与える影響を検討する。

提案手法

• 各データセットをNクラスの画像分類問題のクラスとして扱い、データセット分類タスクを定義・運用化する。
• 多様で大規模なデータセット（YFCC、CC、DataComp、WIT、LAION、ImageNet）を組み立て、各データセットあたり1MでConvNeXtや他のアーキテクチャを訓練する。
• データセットの組み合わせを横断した保持アウトの検証画像に対するデータセット分類精度を評価する。
• カラージッター、ノイズ、ブラー、低解像度などの低レベルアーティファクトに対するロバスト性を、破損実験を通じて検証する。
• memorizationと generalization を区別するため、完全教師あり訓練と疑似データセット設定を対比させる。
• 自己教師付き事前学習（MAE）を経て線形プロービングを行い、データセット識別特徴の転移を評価する。

実験結果

リサーチクエスチョン

• RQ1 現代のニューラルネットワークは、大規模で多様なデータセットから画像の出典データセットを信頼性高く識別できるか。
• RQ2 学習されたデータセット識別特徴は意味的な画像分類タスクへ転移するか。
• RQ3 高いデータセット分類精度は記憶化によるものか、それとも一般化可能なパターンによるものか。
• RQ4 データ拡張、モデルサイズ、自己教師あり事前学習がデータセット分類性能にどう影響するか。

主な発見

• ニューラルネットワークは、データセットの組み合わせ全体で高いデータセット分類精度を達成しており、例として YFCC+CC+DataComp の保持アウト検証で 84.7% など。
• トレーニングデータ量の増加と拡張の強化に伴い精度が一般的に向上し、記憶化よりも一般化可能なパターンを示唆する。
• 小さなモデルでも高いデータセット分類性能を達成できる（例：27MパラメータのConvNeXt Tiny が 84.7% に到達）。
• 疑似データセット実験は、記憶化が実データセット分類タスクの主要推進力ではないことを示唆し、疑似設定ではモデルが一般化できない。
• 線形プロービングを伴う自己教師あり事前学習はデータセット分類の転移を大幅に引き起こし（最大78.4%）、データセット識別特徴は ImageNet での線形プロービングを通じて顕著な改善を提供する。
• データセット分類から学習した特徴は、意味タスクに対しては専門化された自己教師あり手法と比較して非自明な改善をもたらす一方で劣る。