[논문 리뷰] Style Normalization and Restitution for Domain Generalization and Adaptation

Xin Jin, Cuiling Lan외 2명|arXiv (Cornell University)|2021. 01. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 84인용 수 8

한 줄 요약

이 논문은 스타일 정규화 및 복원(SNR) 모듈을 제안하여 컴퓨터 비전에서 도메인 일반화 및 비지도 도메인 적응을 향상시킨다. 이 모듈은 인스턴스 정규화를 통해 도메인 특화된 스타일 변동성을 걸러내고 잔차를 통해 임무 관련 분류 기능을 복원함으로써 성능을 향상시킨다. 이 방법은 스타일에 영향을 받지 않는 특징과 임무 관련 특징을 분리하는 이중 복원 손실을 통해 분류, 세분화, 객체 검출 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

For many practical computer vision applications, the learned models usually have high performance on the datasets used for training but suffer from significant performance degradation when deployed in new environments, where there are usually style differences between the training images and the testing images. An effective domain generalizable model is expected to be able to learn feature representations that are both generalizable and discriminative. In this paper, we design a novel Style Normalization and Restitution module (SNR) to simultaneously ensure both high generalization and discrimination capability of the networks. In the SNR module, particularly, we filter out the style variations (e.g, illumination, color contrast) by performing Instance Normalization (IN) to obtain style normalized features, where the discrepancy among different samples and domains is reduced. However, such a process is task-ignorant and inevitably removes some task-relevant discriminative information, which could hurt the performance. To remedy this, we propose to distill task-relevant discriminative features from the residual (i.e, the difference between the original feature and the style normalized feature) and add them back to the network to ensure high discrimination. Moreover, for better disentanglement, we enforce a dual causality loss constraint in the restitution step to encourage the better separation of task-relevant and task-irrelevant features. We validate the effectiveness of our SNR on different computer vision tasks, including classification, semantic segmentation, and object detection. Experiments demonstrate that our SNR module is capable of improving the performance of networks for domain generalization (DG) and unsupervised domain adaptation (UDA) on many tasks. Code are available at https://github.com/microsoft/SNR.

연구 동기 및 목표

• 학습 및 테스트 환경 간 조명, 색상 대비 등의 스타일 변동으로 인한 도메인 이동 문제를 해결하기 위해.
• 도메인 일반화(DG) 설정에서 타겟 도메인 레이블에 의존하지 않고 모델 일반화를 향상시키기 위해.
• 비지도 도메인 적응(UDA)에서 도메인 특화된 스타일 변동을 줄이고 분류 기능을 유지함으로써 성능 저하를 완화하기 위해.
• 새로운 특징 복원 메커니즘을 통해 임무 관련 및 임무 비관련 특징의 더 나은 분리 기능을 달성하기 위해.
• 아키텍처의 전반적인 수정 없이도 딥 네트워크의 일반화 및 분류 성능을 향상시킬 수 있는 플러그 앤 플레이 모듈을 개발하기 위해.

제안 방법

• 입력 특징에 인스턴스 정규화(IN)를 적용하여 조명, 대비 등의 스타일 변동을 정규화함으로써 도메인 간 차이를 줄이기 위해.
• 원본 특징과 정규화된 특징 간 잔차를 계산하여 정규화 과정에서 손실된 임무 관련 분류 정보를 캡처하기 위해.
• 잔차를 다시 더하여 원래의 특징 표현을 복원함으로써 분류 능력을 복원하기 위해.
• 임무 비관련 성분에서는 엔트로피를 최소화하고, 임무 관련 성분에서는 엔트로피를 최대화함으로써 분리 기능을 장려하는 이중 복원 손실을 도입하기 위해.
• 훈련 중에 복원 손실을 계산하기 위해 이중 분기 구조를 사용하며, 추론 시 보조 분기는 제거하기 위해.
• ResNet 및 DRN 백본의 합성곱 블록 뒤에 SNR 모듈을 삽입하여 여러 컴퓨터 비전 작업에서 엔드 투 엔드 훈련을 가능하게 하기 위해.

Figure 1: Due to the differences in environments (such as lighting/camera/place/weather), the captured images present style discrepancy, such as the illumination, color contrast/saturation, quality, imaging style. These result in domain gaps between the training and testing data.

실험 결과

연구 질문

• RQ1 통합된 모듈이 도메인 이동 상황에서 딥 네트워크의 일반화와 분류 능력을 동시에 향상시킬 수 있는가?
• RQ2 스타일 정규화 이후에 어떻게 하면 임무 관련 특징을 효과적으로 복원할 수 있는가? 성능 저하를 방지하기 위해.
• RQ3 스타일에 영향을 받지 않는 특징과 임무 관련 특징을 얼마나 잘 분리하는가에 따라 도메인 일반화 및 적응 성능 향상 정도는 어느 정도인가?
• RQ4 제안된 이중 복원 손실이 표준 정규화나 재구성 기법보다 더 나은 특징 분리 기능을 제공하는가?
• RQ5 SNR 모듈이 분류, 세분화, 객체 검출과 같은 다양한 컴퓨터 비전 작업에 효과적으로 적용될 수 있는가?

주요 결과

• SNR 모듈은 mini-DomainNet 벤치마크에서 최신 기술 수준의 성능을 달성하여 도메인 일반화 설정에서 기준 방법 대비 최대 2.1% 높은 정확도를 확보하였다.
• 전체 DomainNet 데이터셋에서 SNR가 적용된 ResNet-152는 도메인 일반화 설정에서 기준 모델 대비 1.8% 높은 top-1 정확도를 기록하였다.
• 세분화 작업에서 DRN-D-105를 사용하여 GTA5에서 Cityscapes로의 전이 시 mIoU가 3.4% 향상되었고, SYNTHIA에서 Cityscapes로의 전이 시 2.9% 향상되었다.
• Cityscapes에서 Foggy Cityscapes로, 그리고 Cityscapes에서 KITTI로의 객체 검출 벤치마크에서 SNR 모듈은 mAP를 각각 2.7%와 2.1% 향상시켰다.
• 절단 실험 결과, 이중 복원 손실이 분리 기능을 크게 향상시키며 단일 손실 버전 대비 1.5% 정확도 향상을 보였다.
• SNR 모듈은 분류, 세분화, 객체 검출 등 평가된 모든 작업에서 일관되게 성능 향상을 보이며 광범위한 적용 가능성을 입증하였다.

Figure 2: Overall flowchart. (a) Our generalizable feature learning network with the proposed Style Normalization and Restitution (SNR) module being plugged in after some convolutional blocks. Here, we use ResNet-50 as our backbone for illustration. (b) Proposed SNR module. Instance Normalization (I