[논문 리뷰] SelfNorm and CrossNorm for Out-of-Distribution Robustness

Zhiqiang Tang, Yunhe Gao외 4명|arXiv (Cornell University)|2021. 05. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 13

한 줄 요약

이 논문은 딥 네ural 네트워크에서 분포 외(out-of-distribution, OOD) 일반화를 향상시키는 두 가지 새로운 정규화 기법인 SelfNorm과 CrossNorm을 제안한다. SelfNorm은 채널별 통계를 재보정하기 위해 자기주의(self-attention)를 사용하며, CrossNorm은 특징 맵 간에 통계를 전달한다; 이 둘은 다양한 훈련 설정에서 시각 및 언어 작업 전반에 걸쳐 강건성을 향상시킨다.

ABSTRACT

Normalization techniques are crucial in stabilizing and accelerating the training of deep neural networks. However, they are mainly designed for the independent and identically distributed (IID) data, not satisfying many real-world out-of-distribution (OOD) situations. Unlike most previous works, this paper presents two normalization methods, SelfNorm and CrossNorm, to promote OOD generalization. SelfNorm uses attention to recalibrate statistics (channel-wise mean and variance), while CrossNorm exchanges the statistics between feature maps. SelfNorm and CrossNorm can complement each other in OOD generalization, though exploring different directions in statistics usage. Extensive experiments on different domains (vision and language), tasks (classification and segmentation), and settings (supervised and semi-supervised) show their effectiveness.

연구 동기 및 목표

• 기존 정규화 기법의 한계를 해결한다. 이는 IID 데이터를 최적화하기 위해 설계되었지만, 분포 외(OOD) 데이터에서는 성능이 떨어진다.
• 분포 가정이나 데이터 증강에 의존하지 않고 딥 네ural 네트워크의 OOD 일반화를 향상시킨다.
• 통계 통계(평균 및 분산)를 적응적으로 수정하여 OOD 시나리오에서의 강건성을 향상시키는 정규화 메커니즘을 설계한다.
• 주의 기반 및 특징 맵 간 통계 조작의 상호보완적 역할이 일반화 향상에 어떻게 기여하는지 탐색한다.

제안 방법

• SelfNorm은 특징 맵 내 채널별 평균 및 분산 통계를 동적으로 재보정하기 위해 학습 가능한 자기주의 메커니즘을 활용한다.
• CrossNorm은 서로 다른 특징 맵 간에 통계 통계(평균 및 분산)를 교환함으로써 표현의 다양성과 강건성을 향상시킨다.
• 두 방법 모두 미분 가능하며, 최소한의 계산 오버헤드로 기존 딥 러닝 아키텍처에 통합할 수 있다.
• SelfNorm은 주로 주의 기반으로 특징 내부 재보정에 집중하는 반면, CrossNorm은 특징 맵 간 통계 상호작용을 촉진한다.
• 이 방법들은 네트워크 아키텍처에 종속되지 않으며, 시각 및 언어 작업 전반에 적용 가능하다.
• 표준 백프로파게이션을 사용해 엔드 투 엔드로 훈련되며, 지도 및 준지도 학습과 호환된다.

실험 결과

연구 질문

• RQ1 채널별 통계의 주의 기반 재보정이 딥 네트워크에서 OOD 일반화를 향상시키는가?
• RQ2 특징 맵 간 통계 교환은 분포 이탈에 대한 강건성을 향상시키는가?
• RQ3 SelfNorm과 CrossNorm은 서로 다른 도메인에서 OOD 성능 향상에 상호보완적인 역할을 하는가?
• RQ4 이 방법들은 준지도 및 저자료 환경에서 얼마나 효과적인가?
• RQ5 이 정규화 기법들은 아키텍처 수정 없이도 시각 및 언어 작업 전반에 일반화 가능한가?

주요 결과

• SelfNorm과 CrossNorm은 여러 시각 및 언어 벤치마크에서 OOD 일반화를 크게 향상시킨다.
• SelfNorm과 CrossNorm의 조합은 표준 정규화 레이어보다 우수한 OOD 강건성을 달성한다.
• 이 방법들은 지도 및 준지도 학습 환경 모두에서 효과적이며, 자료 부족 상황에서도 강력한 일반화 성능을 보여준다.
• 실험 결과, 분포 이탈 상황에서 OOD 검출 및 정확도 향상에 일관된 성능 향상이 나타났다.
• 추가 데이터나 아키텍처 변경 없이도 기존 정규화 기법보다 외부 분포 입력을 더 잘 다루는 것으로 나타났다.
• 제거 실험을 통해 SelfNorm과 CrossNorm이 각각 독립적으로 강건성에 기여하며, 상호보완적 설계의 타당성이 입증되었다.