[논문 리뷰] DomainDrop: Suppressing Domain-Sensitive Channels for Domain Generalization

Jintao Guo, Qi Lei외 1명|arXiv (Cornell University)|2023. 08. 20.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 도메인 감지 채널—다양한 도메인 간에 안정적이지 않은 활성화를 보이는 특징 맵 채널—를 식별하고 억제함으로써 모델의 강건성을 향상시키는 새로운 도메인 일반화 프레임워크인 DomainDrop을 제안한다. 도메인 구분자(Domain Discriminator)를 사용해 도메인 식별 유용성에 기반해 드롭아웃 확률을 할당함으로써, 도메인 특화된 특징 학습을 줄이고, 다양한 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 일반화 오차 경계를 이론적으로 더욱 날카롭게 한다.

ABSTRACT

Deep Neural Networks have exhibited considerable success in various visual tasks. However, when applied to unseen test datasets, state-of-the-art models often suffer performance degradation due to domain shifts. In this paper, we introduce a novel approach for domain generalization from a novel perspective of enhancing the robustness of channels in feature maps to domain shifts. We observe that models trained on source domains contain a substantial number of channels that exhibit unstable activations across different domains, which are inclined to capture domain-specific features and behave abnormally when exposed to unseen target domains. To address the issue, we propose a DomainDrop framework to continuously enhance the channel robustness to domain shifts, where a domain discriminator is used to identify and drop unstable channels in feature maps of each network layer during forward propagation. We theoretically prove that our framework could effectively lower the generalization bound. Extensive experiments on several benchmarks indicate that our framework achieves state-of-the-art performance compared to other competing methods. Our code is available at https://github.com/lingeringlight/DomainDrop.

연구 동기 및 목표

• 도메인 이동으로 인해 새로운 타겟 도메인에서 성능이 저하되는 딥 네URAL 네트워크 문제 해결
• 도메인 일반화에서의 과적합 원인이 중간층의 비강건한 도메인 감지 특징 채널에 기인함을 규명
• 채널 수준에서 불안정한 채널을 직접 타겟으로 삼아 훈련 중 도메인 특화 특징을 명시적으로 억제하는 방법 개발
• 도메인 감지 채널을 제거함으로써 일반화 오차 경계가 좁아진다는 것을 이론적으로 정당화
• DomainDrop가 기존 최신 기술 수준 방법들과 수직적(orthogonal)으로 결합 가능하며, 이를 통해 성능 향상이 가능함을 입증

제안 방법

• 각 채널의 도메인 분류 기여도를 평가하기 위해 도메인 구분자를 도입하고, 이를 바탕으로 드롭아웃 확률을 할당
• 훈련 중 중간층에 층별 무작위 삽입을 통해 전망망의 모든 깊이에서 도메인 감지 채널을 억제
• 다양한 DomainDrop 변형에 대한 예측 일관성을 강화하기 위해 双중 일관성 손실(dual consistency loss)을 사용해 강건성을 향상
• 채널 강건성을 도메인 간 활성화 표준편차로 정의하여 불안정하고 도메인 감지 채널을 식별
• 이론적으로 도메인 감지 채널 억제가 원천 도메인 산란도(β)와 원천-대상 도메인 갭(γ)을 낮춤으로써 일반화 오차 경계를 좁힌다는 것을 증명
• ResNet-18 및 MLP 유사 GFNet과 같은 다양한 백본 아키텍처에 DomainDrop 통합하여 아키텍처 일반화 성능 입증

실험 결과

연구 질문

• RQ1 도메인 이동에 대한 채널 수준의 강건성은 도메인 일반화 성능 향상에 활용될 수 있는가?
• RQ2 활성화 분산이 높은 도메인 감지 채널—즉, 도메인 간에 높은 변동성을 보이는 채널—은 미관측 도메인에서 모델 일반화 성능을 심각하게 떨어뜨리는가?
• RQ3 도메인 구분자를 기반으로 하는 동적이고 채널별 드롭아웃 메커니즘이 도메인 특화 특징을 효과적으로 억제하면서도 정합 표현을 손상시키지 않는가?
• RQ4 도메인 감지 채널 억제가 더 좁은 일반화 오차 경계를 이끌어내는가?
• RQ5 DomainDrop는 기존 최신 기술 수준의 도메인 일반화 방법들과 조합되어 성능을 추가로 향상시킬 수 있는가?

주요 결과

• DomainDrop는 PACS에서 평균 오차 5.15%와 Office-Home에서 4.09%를 기록하며 네 가지 표준 벤치마크에서 최신 기술 수준 성능 확보
• 모든 비교 방법 중에서 원천 도메인 산란도(β)와 원천-대상 도메인 갭(γ)을 가장 낮게 유지하여 효과적인 도메인 갭 축소를 확인
• PACS에서 DomainDrop는 RandAug에 비해 3.06% 향상(86.69% 대 83.63%)하고 FACT에 비해 2.63% 향상(87.24% 대 84.61%)하여 강력한 수직적 향상 입증
• GFNet 성능은 3.26% 향상(91.02% 대 87.76%)하여 MLP 유사 모델을 포함한 다양한 아키텍처에서 효과적임을 입증
• 제거 분석 결과, 얕은 층과 깊은 층 모두 도메인 감지 채널이 존재함을 확인하여 층별 억제의 필요성을 정당화
• 이중 일관성 손실과 도메인 구분자 기반 드롭아웃 메커니즘이 강건한 성능과 일반화를 달성하는 데 필수적임을 확인