[論文レビュー] Semantic Redundancies in Image-Classification Datasets: The 10% You Don't Need

Vighnesh Birodkar, Hossein Mobahi+1 more|arXiv (Cornell University)|Jan 29, 2019

Advanced Neural Network Applications参考文献 31被引用数 18

ひとこと要約

この論文は、ImageNetおよびCIFAR-10のトレーニングデータの少なくとも10%が意味論的に重複していることを特定し、それがモデルの一般化性能を低下させずに削除可能であることを実証している。特徴空間における意味論的クラスタリングを用いて、ポーズ、色、テクスチャ、背景のわずかな変化を示す画像が重複グループを形成することを示し、それらを削除してもテスト精度が維持されることを明らかにした。これは、大規模データセットにおけるデータの不可欠性という従来の仮定に挑戦するものである。

ABSTRACT

Large datasets have been crucial to the success of deep learning models in the recent years, which keep performing better as they are trained with more labelled data. While there have been sustained efforts to make these models more data-efficient, the potential benefit of understanding the data itself, is largely untapped. Specifically, focusing on object recognition tasks, we wonder if for common benchmark datasets we can do better than random subsets of the data and find a subset that can generalize on par with the full dataset when trained on. To our knowledge, this is the first result that can find notable redundancies in CIFAR-10 and ImageNet datasets (at least 10%). Interestingly, we observe semantic correlations between required and redundant images. We hope that our findings can motivate further research into identifying additional redundancies and exploiting them for more efficient training or data-collection.

研究の動機と目的

• ImageNetやCIFAR-10のような一般的に使用されている画像分類データセットに顕著な冗長性が存在するかどうかを調査すること。
• これらのデータセットに顕著な冗長性が存在しないという一般的な信念に反論し、特にそれとは対照的な先行研究の主張を検証すること。
• わずかな意味論的変化（色、ポーズ、テクスチャ、背景など）を示す画像のサブセットを安全に削除しても、モデルの一般化性能に影響がないことを実証すること。
• 意味論的クラスタリングがトレーニングデータ内の重複グループを同定できることを実証的根拠として提示し、よりデータ効率の良い学習への道筋を示すこと。

提案手法

• 著者らは、事前学習済みのResNetなどから得られる深層ニューラルネットワーク特徴量を用いて、画像を意味論的特徴空間に埋め込む。
• 学習された類似度メトリクスを用いた階層的クラスタリングを適用し、データセット全体にわたる意味的に類似した画像をグループ化する。
• 各クラスタ内の画像は、色、ポーズ、テクスチャ、背景といったわずかな属性の違いしか持たない場合、重複しているとみなされる。
• 各クラスタから代表画像を1つ選択し、残りの画像をすべて削除することで、縮小されたトレーニングセットを構築する。
• モデルの性能を縮小されたデータセット上で評価し、フルデータセットと比較して一般化性能を検証する。
• アブレーションスタディを用いて、サブセットサイズの変化に対する妥当性をImageNet、CIFAR-10、CIFAR-100の全データセットで検証する。

実験結果

リサーチクエスチョン

• RQ1 ImageNet や CIFAR-10 といった標準的な画像分類データセットに顕著な意味論的冗長性を同定できるか？
• RQ2 わずかな意味論的変化（色、ポーズ、テクスチャ、背景など）を示す画像を削除しても、モデルの一般化性能に悪影響を及えるか？
• RQ3 クラスタリングを用いて縮小されたデータセットで学習したモデルの性能は、ランダムサブセットまたはフルデータセットで学習したモデルと比べてどうなるか？
• RQ4 なぜ、縮小されたデータセットでわずかな性能向上が見られるのか。これは、冗長なデータが最適化を妨げている可能性を示唆する。
• RQ5 CIFAR-100ではCIFAR-10やImageNetと同様に検出可能な冗長性が見られないのはなぜか？

主な発見

• ImageNetおよびCIFAR-10のトレーニングセットの少なくとも10%は、スクラッチから学習する際、テスト精度に影響を及げずに削除可能である。
• 元のサイズの90%に縮小されたデータセットで学習したモデルの性能は、フルデータセットで学習したモデルと同等、あるいはわずかに優れている。これは、冗長性が最適化を妨げている可能性を示唆している。
• 重複グループは、色、ポーズ、テクスチャ、背景といったわずかな意味論的変化によって定義され、各クラスタ内では視覚的に一貫性がある。
• CIFAR-10の重複グループの意味空間では密なクラスタリングが見られるが、CIFAR-100では点がより散らばっており、検出可能な冗長性が存在しないことを説明している。
• 重複グループから除外されたが意味空間上で近接する画像同士は、重要な属性（例：セダン対スポーツカー）において相違しており、この手法が意味論的差異に敏感であることを確認している。
• 本研究の結果は、これらのデータセットに冗長性がないという先行の主張を反証し、意味論的に重複するサンプルを同定・削除することで、データ効率の向上が可能であると示唆している。