[논문 리뷰] Modeling Uncertain Feature Representation for Domain Generalization

Xiaotong Li, Zixuan Hu외 4명|arXiv (Cornell University)|2023. 01. 16.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 도메인 분포 변화 상황에서의 딥러닝 일반화 성능 향상을 위해 특징 통계를 다변량 정규분포로 모델링하는 Domain Shifts with Uncertainty (DSU)를 제안한다. 학습 중에 불확실성 있는 통계를 샘플링하고 추론 시 개별 인스턴스별로 적응을 적용함으로써, 추가 파rameter 없이 다양한 분포 외 도메인에서도 강건성을 향상시켜 이미지 분류, 세분화, 검색, 자세 추정 작업에서 최신 기준 성능을 달성한다.

ABSTRACT

Though deep neural networks have achieved impressive success on various vision tasks, obvious performance degradation still exists when models are tested in out-of-distribution scenarios. In addressing this limitation, we ponder that the feature statistics (mean and standard deviation), which carry the domain characteristics of the training data, can be properly manipulated to improve the generalization ability of deep learning models. Existing methods commonly consider feature statistics as deterministic values measured from the learned features and do not explicitly model the uncertain statistics discrepancy caused by potential domain shifts during testing. In this paper, we improve the network generalization ability by modeling domain shifts with uncertainty (DSU), i.e., characterizing the feature statistics as uncertain distributions during training. Specifically, we hypothesize that the feature statistic, after considering the potential uncertainties, follows a multivariate Gaussian distribution. During inference, we propose an instance-wise adaptation strategy that can adaptively deal with the unforeseeable shift and further enhance the generalization ability of the trained model with negligible additional cost. We also conduct theoretical analysis on the aspects of generalization error bound and the implicit regularization effect, showing the efficacy of our method. Extensive experiments demonstrate that our method consistently improves the network generalization ability on multiple vision tasks, including image classification, semantic segmentation, instance retrieval, and pose estimation. Our methods are simple yet effective and can be readily integrated into networks without additional trainable parameters or loss constraints. Code will be released in https://github.com/lixiaotong97/DSU.

연구 동기 및 목표

• 분포 외 테스트 환경에서 딥 네트워크의 성능 저하 문제, 특히 특징 통계의 도메인 분포 변화로 인한 성능 저하를 해결하기 위해.
• 특징 통계(평균 및 표준편차)를 결정론적 값이 아닌 확률적 분포로 간주함으로써 도메인 분포 변화에 내재된 불확실성을 모델링하기 위해.
• 학습 중에 다양한 불확실성 샘플링을 통한 특징 통계 변형을 활용하여 모델의 일반화 성능을 향상시키기 위해.
• 유의미한 계산 부담 없이도 추론 시 개별 인스턴스별로 특징 통계를 적응적으로 校정함으로써 추론 시 강건성을 향상시키기 위해.

제안 방법

• 각 특징 통계(평균 및 표준편차)를 원래의 결정론적 값 중심으로 하는 다변량 정규분포로 모델링하며, 분산은 비모수적 방식으로 미니배치 통계에서 추정한다.
• 학습 중에 추정된 정규분포에서 특징 통계를 무작위로 샘플링하여 다양한 변형을 생성함으로써 잠재적 도메인 분포 변화를 시뮬레이션한다.
• 불확실성 추정은 채널별로 이루어지며, 다양한 특징 채널 간의 분포 변화 잠재력의 다양성을 반영한다.
• 추론 시에는 테스트 샘플의 불확실성에 기반하여 특징 통계를 재보정하는 인스턴스별 적응 전략을 적용하여 예상치 못한 도메인 분포 변화에 대한 강건성을 향상시킨다.
• 이 방법은 비모수적이며 추가적인 학습 가능한 파rameter나 손실 제약 조건을 도입하지 않아 기존 네트워크에 쉽게 통합할 수 있다.
• 이론적 분석을 통해 이 방법의 일반화 오차 경계와 암묵적 정규화 효과를 입증함으로써 강건성의 타당성을 뒷받침한다.

실험 결과

연구 질문

• RQ1 특징 통계를 불확실성 있는 분포로 모델링하면 도메인 분포 변화 상황에서 모델의 일반화 성능 향상이 가능할까?
• RQ2 학습 중에 불확실성 인식 특징 통계 샘플링이 예상치 못한 도메인 분포에 대한 강건성에 어떤 영향을 미칠까?
• RQ3 최소한의 계산 비용으로도 인스턴스별 추론 시 적응 전략이 일반화 성능을 추가로 향상시킬 수 있을까?
• RQ4 채널 간에 동일한 불확실성 분포를 공유하는 것과 비교해 본다면, 제안된 불확실성 추정 방식은 어떤가?
• RQ5 다양한 불확실성 분포 유형(Gaussian vs. uniform 등)이 모델 성능에 어떤 영향을 미칠까?

주요 결과

• PACS 데이터셋에서 DSU는 제로샷 일반화 정확도를 79.0%에서 84.1%로 향상시켜 최신 기준 성능을 달성했다.
• GTA5에서 Cityscapes로의 세분화 벤치마크에서 DSU는 성능을 37.0%에서 43.1%로 향상시켜 도메인 분포 변화 상황에서도 강력한 강건성을 입증했다.
• 사전 정의된 표준편차를 가진 고정된 정규분포보다 성능이 뛰어나, 적응형 불확실성 추정이 정적 변형보다 더 효과적임을 시사한다.
• 모든 채널에 동일한 불확실성 분포를 공유할 경우 성능은 43.1%에서 39.3%로 떨어지며, 채널별 불확실성 모델링이 최적의 성능을 내기 위해 필수적임을 확인한다.
• 학습 시간은 6% 증가, 추론 시간은 1% 증가에 그치며, 추가 파arameter는 0.02% 미만으로 증가하여 높은 효율성을 입증했다.