[논문 리뷰] An Adversarial Perturbation Oriented Domain Adaptation Approach for Semantic Segmentation

Jihan Yang, Ruijia Xu외 5명|arXiv (Cornell University)|2019. 12. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 7

한 줄 요약

이 논문은 특성 공간에서 점별 적으로 악성 방해 편향을 생성하고 방어함으로써 카테고리 조건부 이탈을 완화하는 편향 기반 도메인 적응 방법을 제안한다. 각 특성 맵 위치를 개별적으로 편향시키고, 이러한 편향에 저항하도록 도메인 불변 분류기를 훈련시킴으로써, GTA5→Cityscapes 및 SYNTHIA→Cityscapes에서 최신 기술 수준의 성능을 달성하며, 특히 尾첨 클래스와 소형 물체의 세분화 성능을 향상시킨다.

ABSTRACT

We focus on Unsupervised Domain Adaptation (UDA) for the task of semantic segmentation. Recently, adversarial alignment has been widely adopted to match the marginal distribution of feature representations across two domains globally. However, this strategy fails in adapting the representations of the tail classes or small objects for semantic segmentation since the alignment objective is dominated by head categories or large objects. In contrast to adversarial alignment, we propose to explicitly train a domain-invariant classifier by generating and defensing against pointwise feature space adversarial perturbations. Specifically, we firstly perturb the intermediate feature maps with several attack objectives (i.e., discriminator and classifier) on each individual position for both domains, and then the classifier is trained to be invariant to the perturbations. By perturbing each position individually, our model treats each location evenly regardless of the category or object size and thus circumvents the aforementioned issue. Moreover, the domain gap in feature space is reduced by extrapolating source and target perturbed features towards each other with attack on the domain discriminator. Our approach achieves the state-of-the-art performance on two challenging domain adaptation tasks for semantic segmentation: GTA5 -> Cityscapes and SYNTHIA -> Cityscapes.

연구 동기 및 목표

• 전역 분포 일치에 의해 헤드 클래스 또는 큰 물체가 지배하는 도메인 적응에서의 악성 대칭화의 한계를 해결하기 위해.
• 특성 맵의 각 위치에 대해 개별적으로 편향을 적용하고, 이를 통해 모든 카테고리, 특히 尾첨 클래스와 소형 물체에 걸쳐 균형 잡힌 적응을 보장함으로써 카테고리 조건부 이탈을 감소시키기 위해.
• 분류기가 국소적인 악성 편향에 대해 불변임을 명시적으로 훈련시킴으로써 모델의 강건성과 일반화 능력을 향상시키기 위해.
• 데이터 분포에 대한 히وري스틱 재가중 또는 암묵적인 가정에 의존하지 않고 도메인 불변 표현을 더 잘 얻기 위해.

제안 방법

• 다중 공격 목표 간의 기울기 간극을 줄이기 위해, 반복적 프리글래스 사인 전개 방법(I-FGSPM)을 사용하여 중간 특성 맵의 각 공간 위치에서 악성 편향을 생성한다.
• 편향은 도메인 식별자와 세분화 분류기의 기울기에서 유도되며, 이는 모델이 강건하고 도메인 불변 특성을 학습하도록 한다.
• 분류기는 이러한 편향 하에서도 일관된 예측을 유지하도록 훈련되며, 소스 지도 학습과 타겟 일관성 제약 조건을 사용하여 불변성을 강제한다.
• 편향은 깊은 특성 레이어(예: ResNet-101의 4번째 레이어 이후)에 적용되며, 입력 또는 浅층 편향보다 더 우수한 성능을 보이는 것으로 경험적으로 확인되었다.
• 세분화 정확도 향상과 클래스 편향 감소를 위해, Lovász-Softmax 및 엔트로피 최소화 손실을 통합한다.
• 프레임워크는 GTA5→Cityscapes 및 SYNTHIA→Cityscapes에서 평가되었으며, 아블레이션 스터디를 통해 각 구성 요소의 효과성을 검증하였다.

실험 결과

연구 질문

• RQ1 픽셀 수준의 특성 맵 위치에 적용된 악성 편향이 세분화에서 도메인 일반화를 향상시키는가?
• RQ2 점별 편향 훈련이 카테고리 조건부 이탈을 완화하고 尾첨 클래스 및 소형 물체의 성능을 향상시키는가?
• RQ3 공격 방법의 선택과 편향 레이어의 영향이 모델의 강건성과 적응 성능에 미치는 영향은 무엇인가?
• RQ4 악성 편향 훈련이 헤드 클래스에 의해 지배되는 표준 악성 대칭화보다 성능이 뛰어나게 되는가?
• RQ5 각 구성 요소(예: 편향, 엔트로피, Lovász 손실)가 mIoU 향상과 클래스 편향 감소에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 I-FGSPM 공격 방법은 SYNTHIA→Cityscapes에서 53.1 mIoU를 달성하여 I-FGSM(51.8)과 MI-FGSPM(52.2)를 능가하며, 안정적이고 정보가 풍부한 편향을 생성하는 데 효과적임을 입증한다.
• 깊은 레이어(예: ResNet-101의 4번째 레이어 이후)에서 특성 편향을 적용할 경우 최고의 성능(53.1 mIoU)을 기록하며, 입력 또는 얕은 레이어 편향보다 훨씬 효과적임을 확인한다.
• 모든 구성 요소(편향, Lovász, 엔트로피)를 포함한 전체 모델은 GTA5→Cityscapes에서 45.9 mIoU, SYNTHIA→Cityscapes에서 53.1 mIoU를 기록하며, 베이스라인 소스 전용 모델(36.6 및 38.6 mIoU)을 크게 능가한다.
• ASN 전훈련과 조합할 경우, GTA5→Cityscapes와 SYNTHIA→Cityscapes에서 각각 +3.8% 및 +7.0% mIoU 향상을 기록하며, 기존 방법과 강한 상호보완성을 보여준다.
• 아블레이션 스터디는 엔트로피 최소화와 Lovász-Softmax 손실이 클래스 편향을 감소시키며, 편향 전략이 이 두 가지 요소와 함께 조합될 때 가장 효과적임을 확인한다.
• ASN과 비교할 때, 이 방법은 '사인판', '신호등' 등의 尾첨 클래스 세분화 성능을 크게 향상시키며, 전역 일치 지배로 인해 이러한 카테고리에서 붕괴되는 경향이 있는 ASN과 대비된다.