[논문 리뷰] Semi-supervised Image Classification with Grad-CAM Consistency

Juyong Lee, Seunghyuk Cho|arXiv (Cornell University)|2021. 08. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 17인용 수 6

한 줄 요약

이 논문은 데이터 증강에 걸쳐 Grad-CAM 주의 맵의 일관성을 강제하는 준지도 학습 이미지 분류 방법을 제안하며, 모델의 일반화 능력과 적응 능력을 향상시킨다. 표준 일관성 학습에 Grad-CAM 일관성 손실을 추가함으로써, CIFAR-10에서 최대 1.44%의 정확도 향상을 달성했으며, 특히 더 깊은 네트워크 레이어를 대상으로 하여 특징 수준의 정렬을 개선함으로써 기준 모델의 편제어 방법을 능가한다.

ABSTRACT

Consistency training, which exploits both supervised and unsupervised learning with different augmentations on image, is an effective method of utilizing unlabeled data in semi-supervised learning (SSL) manner. Here, we present another version of the method with Grad-CAM consistency loss, so it can be utilized in training model with better generalization and adjustability. We show that our method improved the baseline ResNet model with at most 1.44 % and 0.31 $\pm$ 0.59 %p accuracy improvement on average with CIFAR-10 dataset. We conducted ablation study comparing to using only psuedo-label for consistency training. Also, we argue that our method can adjust in different environments when targeted to different units in the model. The code is available: https://github.com/gimme1dollar/gradcam-consistency-semi-sup.

연구 동기 및 목표

• Grad-CAM 주의 맵의 일관성을 정규화 신호로 활용하여 준지도 학습 이미지 분류를 향상시키는 것.
• 기울기 기반의 색소 맵 일관성을 통합함으로써 표준 편제어 방법을 초월한 모델의 일반화 능력을 향상시키는 것.
• Grad-CAM 일관성 손실을 다양한 네트워크 레이어에 적용할 수 있도록 허용하여 학습의 적응 능력을 높이는 것.
• 주의 맵 일관성이 라벨 일관성만으로도 성능을 향상시키는지 조사하는 것.
• 목표 레이어 선택이 다양한 데이터셋과 레이블 분포에서 모델 성능에 미치는 영향을 평가하는 것.

제안 방법

• 이 방법은 특정 목표 레이어에서 원본 입력과 증강된 입력의 Grad-CAM 맵 간의 L2 거리를 최소화하는 Grad-CAM 일관성 손실을 도입한다.
• 이 손실은 표준 감독 교차 엔트로피 손실과 편제어 일관성 손실과 결합되어 다목적 학습 목표를 형성한다.
• Grad-CAM 맵는 목표 레이어의 활성화 맵에 대한 최종 클래스 점수의 기울기를 사용하여 계산된다.
• Grad-CAM 계산을 위한 목표 레이어는 유연하게 선택할 수 있어 학습 중에 레이어별 지도를 제공할 수 있다.
• 표준 데이터 증강(자르기, 회전, 색상 왜곡)을 사용하고 예측과 함께 Grad-CAM 주의 맵에 일관성을 강제한다.
• 학습 절차는 감독 손실, 편제어 일관성 손실, Grad-CAM 일관성 손실의 가중 조합을 사용하며, 하이퍼파라미터 α, β, γ를 포함한다.

실험 결과

연구 질문

• RQ1 데이터 증강에 걸쳐 Grad-CAM 일관성을 강제하는 것이 표준 일관성 학습 대비 준지도 학습 이미지 분류 성능을 향상시키는가?
• RQ2 Grad-CAM 일관성의 목표 레이어 선택이 모델 정확도와 일반화에 어떤 영향을 미치는가?
• RQ3 편제어 없이 Grad-CAM 일관성만으로도 모델 성능을 향상시킬 수 있는가?
• RQ4 비라벨 데이터의 양이 Grad-CAM 일관성 손실의 효과성에 어떤 영향을 미치는가?
• RQ5 레이어 타겟팅 기반으로 라벨링이 세밀한지 또는 거친 분류 작업에서 Grad-CAM 일관성이 더 효과적인가?

주요 결과

• 제안된 방법은 라벨이 2500개, 비라벨이 10,000개인 CIFAR-10에서 기준 ResNet 모델 대비 최대 1.44%의 정확도 향상을 달성했다.
• 다양한 데이터 비율에서 평균적으로 0.31% ± 0.59%의 정확도 향상을 보이며 일관된 성과를 보였다.
• 제거 실험에서 Grad-CAM 일관성 손실만으로도 기준 편제어 방법을 초월하는 성능 향상을 보였으며, 비율 0.5일 때 0.70% 향상, 비율 2.0일 때 0.85% 향상되었다.
• 3번째 리스크 블록(Layer 3)을 목표로 하였을 때 최고의 성능을 기록했으며, 비라벨/라벨 비율 1.0일 때 정확도 90.41%를 달성했다.
• 비라벨 데이터가 많을수록 일반화 능력이 향상되어 Grad-CAM 일관성이 강력한 정규화 요소로 작용하는 것으로 나타났다.
• 더 깊은 레이어(예: Layer 4)를 대상으로 하였을 때 더 높은 성능을 기록하여 전역적 특징 정렬이 분류에 더 유리함을 시사한다.