[논문 리뷰] Anti-Adversarially Manipulated Attributions for Weakly and Semi-Supervised Semantic Segmentation

Jungbeom Lee, Eunji Kim외 1명|arXiv (Cornell University)|2021. 03. 16.

Adversarial Robustness in Machine Learning인용 수 7

한 줄 요약

이 논문은 AdvCAM을 제안하며, 반대적 적대적 경사 상승을 통해 입력 이미지를 반복적으로 변형함으로써 분류 점수를 높이는 후행적 방법이다. 이는 약한 지도 학습 및 준지도 학습 세그멘테이션을 향상시키는 데 목적이 있으며, 표적 클래스 점수를 높이는 방향으로 이미지를 변형함으로써 속성 맵을 확장하고, 정규화를 통해 관련 없는 영역을 억제함으로써 표적 객체의 더 많은 부분을 커버하게 한다. PASCAL VOC 2012에서 약한 지도 학습 시 68.0, 준지도 학습 시 76.9의 최신 기준(mIoU)을 달성한다.

ABSTRACT

Weakly supervised semantic segmentation produces a pixel-level localization from a classifier, but it is likely to restrict its focus to a small discriminative region of the target object. AdvCAM is an attribution map of an image that is manipulated to increase the classification score. This manipulation is realized in an anti-adversarial manner, which perturbs the images along pixel gradients in the opposite direction from those used in an adversarial attack. It forces regions initially considered not to be discriminative to become involved in subsequent classifications, and produces attribution maps that successively identify more regions of the target object. In addition, we introduce a new regularization procedure that inhibits the incorrect attribution of regions unrelated to the target object and limits the attributions of the regions that already have high scores. On PASCAL VOC 2012 test images, we achieve mIoUs of 68.0 and 76.9 for weakly and semi-supervised semantic segmentation respectively, which represent a new state-of-the-art.

연구 동기 및 목표

• 객체의 작은 분류 가능한 영역에만 집중하는 약한 지도 학습 세그멘테이션의 한계를 해결하기 위해.
• 분류기나 학습 과정을 수정하지 않고도 국소화된 속성 맵을 표적 객체의 더 많은 부분을 커버하도록 확장하는 방법을 개발하기 위해.
• 이미지 변형을 통해 반복적으로 속성 맵을 정교화하여 세그멘테이션 네트워크 학습을 위한 편가속 마스크 품질을 향상시키기 위해.
• 배경이나 관련 없는 객체에 대한 잘못된 속성 맵을 억제하여 더 정확하고 강건한 편가속 레이블을 확보하기 위해.

제안 방법

• AdvCAM은 표적 클래스 점수의 기울기 방향으로 입력 이미지를 반복적으로 변형하여 분류 점수를 높이는 반대적 적대적 이미지 변형을 수행한다. 이는 표준 적대적 공격의 방향을 뒤집는 방식이다.
• 이 방법은 입력 이미지에 대해 기울기 상승을 적용하여 결정 경계에서 멀어지게 하여, 이전에는 분류에 기여하지 않았지만 관련 있는 영역을 분류에 포함시킨다.
• 마스크 정규화 기법은 이미 높은 점수를 가진 영역의 속성 점수를 제한하여 객체의 특정 부분이 과도하게 증폭되는 것을 방지한다.
• 두 번째 정규화 항은 변형 과정 중 다른 클래스의 분류 점수를 억제하여 관련 없는 객체에 대한 잘못된 속성 맵을 줄인다.
• 최종 속성 맵은 변형된 이미지에서 유도되며, 이는 세그멘테이션 네트워크 학습을 위한 편가속 진짜 마스크로 사용된다.
• 이 방법은 후행적 접근이며, 어떤 사전 학습된 분류기와도 호환되며, 재학습이나 네트워크 수정이 필요하지 않다.

실험 결과

연구 질문

• RQ1 반대적 적대적 이미지 변형이 약한 지도 학습 세그멘테이션에서 속성 맵의 수용 영역을 표적 객체의 더 많은 부분을 커버하도록 효과적으로 확장할 수 있는가?
• RQ2 이미지 변형 과정에서 배경이나 다른 객체와 같은 관련 없는 영역이 과도하게 활성화되지 않도록 어떻게 설계할 수 있는가?
• RQ3 제안된 정규화 메커니즘이 세그멘테이션 학습을 위한 편가속 마스크의 품질과 일반화 능력을 어느 정도 향상시키는가?
• RQ4 AdvCAM은 아키텍처 변경 없이 기존의 약한 지도 학습 세그멘테이션 방법을 보편적으로 향상시킬 수 있는가?
• RQ5 성능에 크게 영향을 주는 하이퍼파라미터는 무엇이며, 이러한 설정의 변화에 대해 얼마나 강건한가?

주요 결과

• AdvCAM은 PASCAL VOC 2012 테스트 세트에서 약한 지도 학습 세그멘테이션 설정에서 새로운 최신 기준(mIoU 68.0)을 달성한다.
• 준지도 학습 환경에서는 mIoU 76.9를 기록하여 역시 새로운 최신 기준 성능을 확보한다.
• λ = 7인 마스크 정규화는 λ = 0과 비교해 mIoU를 5퍼센트 이상 향상시키며, 과도하게 증폭된 영역 억제에 효과적임을 입증한다.
• 하이퍼파라미터 변화에 대해 강건하다: 테스트 범위 내에서 τ(마스크 임계값)와 ξ(스텝 크기)는 mIoU에 미미한 영향을 미친다.
• AdvCAM은 여러 기준 방법들(예: IRN, Chang et al., SEAM)의 초기 시드 품질을 평균 4퍼센트 이상 향상시킨다.
• t-SNE 시각화 결과는 적대적 기울기 상승이 특징를 결정 경계에서 멀어지게 하면서도 다양체의 구조를 유지함을 확인하여, 안정적이고 의미 있는 특징 진화를 보여준다.