[논문 리뷰] Batch Normalization Embeddings for Deep Domain Generalization

Mattia Segù, Alessio Tonioni외 1명|arXiv (Cornell University)|2020. 11. 25.

Domain Adaptation and Few-Shot Learning인용 수 10

한 줄 요약

이 논문은 알려진 도메인을 공유 잠재 공간으로 매핑하기 위해 도메인별 배치 정규화 통계를 활용함으로써 딥 도메인 일반화를 위한 배치 정규화 임베딩(BNE)을 제안한다. 테스트 시점에, 거리 측도를 사용하여 알려지지 않은 도메인 샘플을 이 공간으로 투영하고, 경량 앙상블 방식의 도메인별 분류기로부터 도메인 소속성과 예측을 추론한다. 이로 인해 PACS, Office-31, Office-Caltech 벤치마크에서 최신 기준 성능을 달성한다.

ABSTRACT

Domain generalization aims at training machine learning models to perform robustly across different and unseen domains. Several recent methods use multiple datasets to train models to extract domain-invariant features, hoping to generalize to unseen domains. Instead, first we explicitly train domain-dependant representations by using ad-hoc batch normalization layers to collect independent domain's statistics. Then, we propose to use these statistics to map domains in a shared latent space, where membership to a domain can be measured by means of a distance function. At test time, we project samples from an unknown domain into the same space and infer properties of their domain as a linear combination of the known ones. We apply the same mapping strategy at training and test time, learning both a latent representation and a powerful but lightweight ensemble model. We show a significant increase in classification accuracy over current state-of-the-art techniques on popular domain generalization benchmarks: PACS, Office-31 and Office-Caltech.

연구 동기 및 목표

• 학습 데이터에 포함되지 않은 도메인으로의 일반화를 가능하게 하기 위해, 테스트 데이터의 레이블이 필요 없이 도메인 간 변화 문제를 해결한다.
• 기존 도메인 일반화 방법이 도메인 불변 특징을 강제함으로써 도메인별 유용한 정보를 손실할 수 있는 한계를 극복한다.
• 공유 잠재 공간을 통해 알려지지 않은 도메인으로의 일반화를 가능하게 하면서도, 도메인별 표현을 명시적으로 모델링하는 방법을 개발한다.
• BNE 공간에서 알려지지 않은 도메인과의 유사도를 기반으로 도메인별 분류기의 예측을 가중 평균함으로써, 알려지지 않은 도메인에 대한 강건한 분류를 가능하게 한다.

제안 방법

• 모델 학습 중 각 훈련 도메인에 대해 별도로 배치 정규화(BN) 통계를 누적하여 도메인별 정규화 레이어를 생성한다.
• 각 훈련 도메인을 BN 레이어의 집단 통계를 사용하여 잠재 도메인 공간 내의 점으로 표현한다—이것이 배치 정규화 임베딩(BNE)이다.
• 테스트 시점에, 테스트 샘플의 인스턴스 정규화 통계를 계산하고, 동일한 BN 통계를 사용하여 동일한 잠재 도메인 공간으로 매핑한다.
• 거리 함수(예: 워샤프트 거리)를 사용하여 테스트 샘플의 인스턴스 통계와 각 알려진 도메인의 BNE 사이의 거리를 측정한다.
• 이 거리의 역수를 가중치로 사용하여 도메인별 분류기의 예측을 선형 조합함으로써, 알려지지 않은 도메인으로의 일반화 성능을 향상시킨다.
• 훈련 중에도 동일한 거리 가중 전략을 적용하여, 의미 있는 잠재 도메인 공간과 안정적인 BNE를 학습하도록 모델을 유도한다.

실험 결과

연구 질문

• RQ1 도메인 의존적인 배치 정규화 통계를 통해 캡처된 도메인별 표현은 알려지지 않은 도메인으로의 일반화를 향상시키는 데 사용될 수 있는가?
• RQ2 BN 통계에서 유도된 도메인 임베딩의 잠재 공간은 알려지지 않은 도메인의 특성을 정확히 추론하는 데 얼마나 효과적인가?
• RQ3 알려지지 않은 도메인의 BNE와의 거리 기반으로 도메인별 분류기의 예측을 가중하는 것이, 평균화나 고정 가중치 방식보다 분류 정확도를 향상시키는가?
• RQ4 제안된 방법은 레이블이 없는 타겟 데이터가 필요 없이 PACS, Office-31, Office-Caltech와 같은 다양한 벤치마크에서 일반화 가능한가?
• RQ5 거리 측도 선택(예: 워샤프트, 바타차리야, 균일)이 도메인 국소화 및 분류 성능에 미치는 영향은 어떠한가?

주요 결과

• 제안된 방법은 PACS, Office-31, Office-Caltech 벤치마크에서 최신 기준 성능을 달성하였으며, ResNet-18를 사용할 때 DeepAll 기준 평균 정확도 향상률이 +5.86%에 이른다.
• 도메인 국소화에 워샤프트 거리를 사용할 경우 가장 우수한 성능을 기록하였으며, 모든 도메인에서 바타차리야 및 균일 거리 기반 베이스라인을 모두 앞서 간다.
• 절단 실험 결과, 도메인별 BN, 훈련 시 거리 가중, 워밍업 단계 등 각 구성 요소가 성능 향상에 기여하는 것으로 나타났다.
• 별도의 분류 네트워크를 통해 도메인 소속을 학습하는 DNet 변형보다 성능이 뛰어나면서도 파라미터 수가 더 적다.
• 모든 도메인으로의 일반화가 잘 이루어지며, 특히 PACS의 Sketch와 같이 가장 도전적인 외부 도메인에서도 일관된 성능 향상이 관찰된다.
• 배치 정규화를 사용하는 임의의 CNN과 호환되며, 훈련 도메인 수에 따라 안정적으로 확장된다.