[論文レビュー] Re-labeling ImageNet: from Single to Multi-Labels, from Global to Localized Labels

Sangdoo Yun, Seong Joon Oh+4 more|arXiv (Cornell University)|Jan 13, 2021

Domain Adaptation and Few-Shot Learning参考文献 63被引用数 5

ひとこと要約

本稿では、強力な事前学習済み分類器を用いて、局所化された多値ラベル付きアノテーションでImageNet学習セットを再ラベル付けするReLabelという手法を提案する。また、訓練中にこれらの高密度ラベルを活用するためのLabelPoolingを導入している。このアプローチにより、ResNet-50のImageNetにおけるトップ1精度が78.9%に向上し、CutMixを適用すると80.2%にまで上昇する。微調整や多値ラベルベンチマークにおいても一貫した向上が得られた。

ABSTRACT

ImageNet has been arguably the most popular image classification benchmark, but it is also the one with a significant level of label noise. Recent studies have shown that many samples contain multiple classes, despite being assumed to be a single-label benchmark. They have thus proposed to turn ImageNet evaluation into a multi-label task, with exhaustive multi-label annotations per image. However, they have not fixed the training set, presumably because of a formidable annotation cost. We argue that the mismatch between single-label annotations and effectively multi-label images is equally, if not more, problematic in the training setup, where random crops are applied. With the single-label annotations, a random crop of an image may contain an entirely different object from the ground truth, introducing noisy or even incorrect supervision during training. We thus re-label the ImageNet training set with multi-labels. We address the annotation cost barrier by letting a strong image classifier, trained on an extra source of data, generate the multi-labels. We utilize the pixel-wise multi-label predictions before the final pooling layer, in order to exploit the additional location-specific supervision signals. Training on the re-labeled samples results in improved model performances across the board. ResNet-50 attains the top-1 classification accuracy of 78.9% on ImageNet with our localized multi-labels, which can be further boosted to 80.2% with the CutMix regularization. We show that the models trained with localized multi-labels also outperforms the baselines on transfer learning to object detection and instance segmentation tasks, and various robustness benchmarks. The re-labeled ImageNet training set, pre-trained weights, and the source code are available at {https://github.com/naver-ai/relabel_imagenet}.

研究の動機と目的

• 多くのImageNet画像に複数の物体が存在するが、単一ラベルアノテーションとの不一致が、ランダムクロップによる訓練においてノイズの多い監視信号をもたらす問題を解決する。
• ImageNet学習セット全体に対してピクセル単位の多値ラベルアノテーションを生成する際の高いアノテーションコストを克服する。
• 訓練中により正確で位置に依存する監視信号を提供することで、モデルの一般化性能とロバスト性を向上させる。
• 洗練された局所化された多値ラベル監視が、ImageNet分類を越えて、下流の検出・セグメンテーション・細分化認識タスクにおいても性能向上をもたらすことを実証する。
• 反復的蒸留を回避するスケーラブルで一度限りのラベル付けパイプラインを構築し、高密度監視を効率的に活用できる訓練を可能にする。

提案手法

• 外部のデータソース（例：大規模な弱教師ありデータ）で強い画像分類器を学習し、各ImageNet画像に対して高密度なピクセル単位の多値ラベル予測を生成する。
• グローバル平均プーリングの直前におけるモデルの最終的畳み込み特徴量（$ L ∈ \mathbb{R}^{H \times W \times C} $）を、空間的位置毎の各クラスの信頼度を表す密度ラベルマップとして使用する。
• LabelPoolingを導入し、各ランダムクロップに対して、その領域からの密度ラベルスコアをプーリングすることで多値正例ラベルを計算する訓練方式を構築する。
• LabelPoolingを標準的な交差エントロピー損失と組み合わせることで、局所化された多値ラベル監視をエンドツーエンドで活用可能な訓練を可能にする。
• 再ラベル化されたデータとLabelPoolingを、ImageNetやCOCOを含む単一ラベルおよび多値ラベルベンチマークの両方で適用する。
• 再ラベル化されたImageNetデータセット上でCutMix正則化を適用し、さらなる性能向上を図る。

Figure 1: Re-labeling ImageNet training data. Original ImageNet annotation is a single label (“ox”), whereas the image contains multiple ImageNet categories (“ox”, “barn”, and “fence”). Random crops of an image may contain an entirely different object category from the global annotation. Our method

実験結果

リサーチクエスチョン

• RQ1 単一ラベルアノテーションを局所化された多値ラベルアノテーションに置き換えることで、ImageNetにおけるモデルの一般化性能とロバスト性が向上するか？
• RQ2 事前学習済み分類器を用いて高密度ラベルマップを生成することで、アノテーションコストを低減しつつも高品質な監視信号を維持できるか？
• RQ3 LabelPoolingは、計算コストが著しく増大することなく、ランダムクロップ訓練中に高密度で空間的に意識されたラベルを効果的に活用できるか？
• RQ4 ReLabelで事前学習したモデルは、物体検出やインスタンスセグメンテーションといった下流タスクにおける微調整性能をどの程度向上させるか？
• RQ5 多値ラベルベンチマークにおいて、ReLabelによる性能向上は、標準的な訓練法やCutMixなどの他の正則化手法と比較して、どの程度顕著か？

主な発見

• ReLabelにより、ResNet-50のImageNetにおけるトップ1精度は78.9%に向上し、ベースラインの単一ラベルモデルと比較して+1.4パーセンテージポイントの向上を達成した。
• CutMix正則化を適用した場合、ResNet-50のトップ1精度は80.2%に達し、我々の知る限り、ImageNetにおいて新たなSOTAを樹立した。
• ReLabelで再ラベル化されたImageNetで事前学習したモデルは、5つの細分化分類ベンチマークで一貫した向上を示し、FGVC Aircraftでは最大+3.8パーセンテージポイントの向上を達成した。
• COCO物体検出タスクにおいて、ReLabelで事前学習したResNet-50を用いたFaster-RCNNは、ベースラインと比較して+0.5 mAPの向上を示した。
• COCOインスタンスセグメンテーションタスクにおいて、ReLabelで事前学習したResNet-50を用いたMask-RCNNは、+0.5 mAPの向上を達成し、特徴学習の向上を示した。
• COCO多値分類タスクにおいて、オラクルラベルマップを用いたReLabelは、ResNet-101でmAPを+4.2 pp向上させ、既存の多値ラベル設定においても顕著な向上を示した。

Figure 2 : Cumulative distribution of Intersection-over-Union (IoU) between the random crops and ground-truth bounding boxes. We sample 100 random crops per image on the ImageNet validation set ( $50$ K images).