[論文レビュー] Semi-supervised Image Classification with Grad-CAM Consistency

Juyong Lee, Seunghyuk Cho|arXiv (Cornell University)|Aug 31, 2021

Domain Adaptation and Few-Shot Learning参考文献 17被引用数 6

ひとこと要約

この論文は、データ拡張におけるGrad-CAM注目マップの一貫性を強制することで、モデルの汎化性能と適応性を向上させる半教師あり画像分類手法を提案する。標準の一貫性学習にGrad-CAM一貫性損失を追加することで、CIFAR-10で最大1.44%の精度向上を達成し、特に特徴レベルの整合性を高めるためにより深いネットワーク層を標的とすることで、ベースラインの偽ラベル手法を上回る。

ABSTRACT

Consistency training, which exploits both supervised and unsupervised learning with different augmentations on image, is an effective method of utilizing unlabeled data in semi-supervised learning (SSL) manner. Here, we present another version of the method with Grad-CAM consistency loss, so it can be utilized in training model with better generalization and adjustability. We show that our method improved the baseline ResNet model with at most 1.44 % and 0.31 $\pm$ 0.59 %p accuracy improvement on average with CIFAR-10 dataset. We conducted ablation study comparing to using only psuedo-label for consistency training. Also, we argue that our method can adjust in different environments when targeted to different units in the model. The code is available: https://github.com/gimme1dollar/gradcam-consistency-semi-sup.

研究の動機と目的

• Grad-CAM注目マップの一貫性を正則化信号として活用することで、半教師あり画像分類を改善すること。
• 勾配に基づく類似度マップの一貫性を組み込むことで、標準の偽ラベル手法を超えるモデルの汎化性能を向上させること。
• Grad-CAM一貫性損失を異なるネットワーク層に適用可能にするようにすることで、訓練の適応性を向上させること。
• 注目マップの一貫性がラベルの一貫性のみに比べて優れているかどうかを検証すること。
• 異なるデータセットおよびラベル分布における、ターゲット層選択のモデル性能への影響を評価すること。

提案手法

• 本手法は、指定されたターゲット層における元の入力と拡張入力のGrad-CAMマップ間のL2距離を最小化するGrad-CAM一貫性損失を導入する。
• この損失は、標準の教師あり交差エントロピー損失と偽ラベル一貫性損失と組み合わせられ、複数目的の訓練目的関数を形成する。
• Grad-CAMマップは、ターゲット層の活性化マップに対する最終クラススコアの勾配を用いて計算される。
• Grad-CAM計算のターゲット層は柔軟に選択可能であり、訓練中に層ごとのガイドラインを提供可能である。
• 標準的なデータ拡張（クロップ、回転、カラーのジャマ）を用い、予測とGrad-CAM注目マップの両方に一貫性を強制する。
• 訓練手順では、三つの損失の重み付き組み合わせ（教師あり損失、偽ラベル一貫性損失、Grad-CAM一貫性損失）を用い、ハイパーパrameter α、β、γ を使用する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張におけるGrad-CAM一貫性を強制することで、標準の一貫性学習に比べて半教師あり画像分類の性能が向上するか？
• RQ2 Grad-CAM一貫性のターゲット層の選択が、モデルの精度と汎化性能に与える影響は何か？
• RQ3 偽ラベルなしでGrad-CAM一貫性を単独で用いることで、モデル性能が向上するか？
• RQ4 未ラベルデータの量が、Grad-CAM一貫性損失の有効性に与える影響は何か？
• RQ5 層のターゲティングに基づいて、細分化分類タスクと粗分類タスクのどちらにおいてGrad-CAM一貫性がより効果的か？

主な発見

• 提案手法は、CIFAR-10で2500枚のラベル付き画像と10,000枚の未ラベル付き画像を用いた場合、ベースラインのResNetモデルに比べ最大1.44%の精度向上を達成した。
• 異なるデータ比において平均して0.31% ± 0.59%の精度向上を示し、一貫した向上効果を確認した。
• アブレーションスタディの結果、Grad-CAM一貫性損失単体でもベースラインの偽ラベル手法を上回る性能を示し、0.5の比率で0.70%向上、2.0の比率で0.85%向上を達成した。
• 最も高い性能は第3残差ブロック（Layer 3）をターゲットとした場合で、未ラベル対ラベル比1.0の条件下で90.41%の精度を達成した。
• 未ラベルデータが増えるほど汎化性能が向上したため、Grad-CAM一貫性が強力な正則化子として機能することが示された。
• より深い層（例：Layer 4）をターゲットとすることで、初期層よりも高い性能が得られたことから、分類タスクにおいてグローバル特徴の整合性がより有益であることが示唆された。