[논문 리뷰] Feature Binding with Category-Dependant MixUp for Semantic Segmentation and Adversarial Robustness

Amirul Islam, Matthew Kowal외 2명|arXiv (Cornell University)|2020. 08. 13.

Adversarial Robustness in Machine Learning참고 문헌 38인용 수 4

한 줄 요약

이 논문은 세분화를 위한 카테고리 종속적 MixUp을 제안하며, 이미지를 클래스 레이블에 따라 혼합하여 네트워크가 동시에 세분화 및 원본 이미지를 분리하도록 훈련합니다. 이 방법은 DeepLabv3 대비 mIoU를 2.1% 향상시키고, 구조적 데이터 혼합과 노이즈 제거를 통해 특징 유사성 유지를 강화함으로써 악성 공격, 특히 극단적 변형에 대한 강건성을 향상시킵니다.

ABSTRACT

In this paper, we present a strategy for training convolutional neural networks to effectively resolve interference arising from competing hypotheses relating to inter-categorical information throughout the network. The premise is based on the notion of feature binding, which is defined as the process by which activation's spread across space and layers in the network are successfully integrated to arrive at a correct inference decision. In our work, this is accomplished for the task of dense image labelling by blending images based on their class labels, and then training a feature binding network, which simultaneously segments and separates the blended images. Subsequent feature denoising to suppress noisy activations reveals additional desirable properties and high degrees of successful predictions. Through this process, we reveal a general mechanism, distinct from any prior methods, for boosting the performance of the base segmentation network while simultaneously increasing robustness to adversarial attacks.

연구 동기 및 목표

• 카테고리 간 특징 유사성 향상을 통해 세분화에서 경쟁적 가설 간 간섭을 완화하기 위해.
• 아키텍처 변경 없이 모델의 악성 공격에 대한 강건성을 향상시키기 위해.
• 밀도 높은 이미지 레이블링과 블라인드 소스 분리 기능을 동시에 수행하는 훈련 전략을 개발하기 위해.
• 구조적 데이터 증강을 활용해 아키텍처 혁신에 의존도를 줄이고 일반화 능력을 향상시키기 위해.
• 카테고리 인식 이미지 혼합이 더 나은 맥락 이해와 예측 정확도를 제공할 수 있는지 조사하기 위해.

제안 방법

• 샘플을 클래스별로 군집화하여 구조적인 '카테고리 충돌'을 생성하는 카테고리 종속 전략을 사용해 이미지를 혼합합니다.
• 혼합된 데이터셋에서 특징 유사성 네트워크를 훈련시켜 원본 이미지를 동시에 세분화하고 분리하도록 하며, 공간적 활성화와 특징 활성화 간의 대응을 강제합니다.
• 훈련 후에 특징 노이즈 제거 단계를 적용하여 잡음이 섞인 활성화를 억제하고 예측을 정밀하게 조정합니다.
• 원본 및 허수 활성화를 기반으로 보다 정보적인 최종 예측을 내리도록 유도하기 위해 특징 유사성 헤드를 도입합니다.
• 백본으로 ResNet101 기반 분산 게이팅 네트워크를 사용하고, 성능 향상을 위해 노이즈 제거를 통한 미세조정을 적용합니다.
• 훈련 과정에서 다양한 소스의 특징을 올바른 의미적 영역에 연결함으로써 모호한 활성화를 해결하도록 네트워크 학습을 유도합니다.

실험 결과

연구 질문

• RQ1 구조적이고 카테고리 종속적인 이미지 혼합이 표준 MixUp 및 CutMix를 넘어서 세분화 성능 향상에 기여할 수 있는가?
• RQ2 훈련 중 특징 유사성 강화가 악성 공격에 대한 강건성을 향상시키는가?
• RQ3 이미지 쌍 구성 전략(예: 무작위 대비 카테고리 기반)의 선택이 모델 일반화 및 성능에 어떤 영향을 미치는가?
• RQ4 특징 노이즈 제거가 악성 변형이 존재하는 상황에서 예측 정확도와 강건성에 얼마나 기여하는가?
• RQ5 단일 네트워크 아키텍처가 데이터 수준 증강을 통해 동시에 밀도 높은 레이블링과 블라인드 소스 분리를 수행할 수 있는가?

주요 결과

• 제안된 카테고리 종속적 MixUp 방법은 PASCAL VOC 2012 검증 세트에서 평균 교차율(mIoU) 78.0을 달성하여 DeepLabv3(75.9) 대비 2.1% 향상시켰습니다.
• 표준 MixUp 및 CutMix보다 뚜렷하게 뛰어나며, CutMix는 악성 공격 하에서 mIoU가 감소하는 반면 제안 방법은 강건성을 유지합니다.
• 훈련 후 노이즈 제거를 적용했을 때 mIoU가 76.2에서 78.0으로 상승하여 예측 정밀도 향상에 효과적임을 입증합니다.
• 특징 유사성 헤드 적용으로 mIoU가 75.3에서 76.1로 향상되어 정교한 활성화 통합을 통해 보다 우수한 최종 예측을 가능하게 함을 시사합니다.
• 극단적 악성 공격 설정(R-No 및 R-Part)에서도 DeepLabv3, Mixup, CutMix를 능가하는 강력한 강건성을 보이며, 악성 공격 일반화 능력이 뛰어납니다.
• 군집 기반 혼합(C_fb)이 무작위 쌍 구성(R_fb)이나 카테고리 내 혼합(Ca_fb)보다 더 높은 mIoU를 기록하여 데이터 증강에서 전략적 충돌 설계의 중요성을 입증합니다.