[논문 리뷰] SAND-mask: An Enhanced Gradient Masking Strategy for the Discovery of Invariances in Domain Generalization

Soroosh Shahtalebi, Jean-Christophe Gagnon-Audet외 4명|arXiv (Cornell University)|2021. 06. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 22

한 줄 요약

이 논문은 도메인 일반화에서 경향성 탐지 성능을 향상시키기 위해 도메인 간 기울기 방향과 크기의 일치를 동시에 강제하는 연속적인 기울기 마스킹 전략인 SAND-mask를 제안한다. 이는 기존 방법보다 뛰어나며, Colored MNIST에서 6%의 정확도 향상을 기록하고, DomainBed 벤치마크 전반에서 경쟁력 있는 성능을 달성한다. 이는 기울기 일관성에 기반해 동적으로 마스킹을 조정함으로써 달성된다.

ABSTRACT

A major bottleneck in the real-world applications of machine learning models is their failure in generalizing to unseen domains whose data distribution is not i.i.d to the training domains. This failure often stems from learning non-generalizable features in the training domains that are spuriously correlated with the label of data. To address this shortcoming, there has been a growing surge of interest in learning good explanations that are hard to vary, which is studied under the notion of Out-of-Distribution (OOD) Generalization. The search for good explanations that are extit{invariant} across different domains can be seen as finding local (global) minimas in the loss landscape that hold true across all of the training domains. In this paper, we propose a masking strategy, which determines a continuous weight based on the agreement of gradients that flow in each edge of network, in order to control the amount of update received by the edge in each step of optimization. Particularly, our proposed technique referred to as "Smoothed-AND (SAND)-masking", not only validates the agreement in the direction of gradients but also promotes the agreement among their magnitudes to further ensure the discovery of invariances across training domains. SAND-mask is validated over the Domainbed benchmark for domain generalization and significantly improves the state-of-the-art accuracy on the Colored MNIST dataset while providing competitive results on other domain generalization datasets.

연구 동기 및 목표

• 기존 기울기 마스킹 방법의 실패 모드, 특히 최적화기 모멘텀, 초기화, 데이터 노이즈에 대한 민감성 문제를 해결하기 위해.
• 기울기 방향 뿐 아니라 크기의 일치까지 보장함으로써, 훈련 도메인 간의 불변성 학습을 촉진하는 연속적이고 적응형 마스킹 전략을 개발하기 위해.
• OOD 일반화에서 냉각 스케줄의 수동 하이퍼파라미터 조정이 필요 없도록 하여, 마스크가 없는 상태에서부터 완전한 SAND-masking으로의 자동 수렴을 가능하게 하기 위해.
• 테스트 세트에 대한 접근 없이도, 분포 외 데이터에서의 일반화 성능 향상을 위해.
• 다양한 데이터 분포 간에 일반화되는 불변 특징을 학습하기 위한 강력하고 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• SAND-mask는 각 네트워크 엣지에 대해 도메인 간 기울기 일치도를 기반으로 연속적인 마스크를 계산하며, 기울기 방향과 크기 일관성 양쪽을 사용한다.
• 이전 연구에서 사용된 이산적 AND 마스크 대신, 기울기의 스무스한 AND 연산을 적용하여 노이즈와 최적화 아티팩트에 대한 민감도를 감소시킨다.
• 마스크 값은 서로 다른 도메인의 기울기 간 코사인 유사도와 크기 일치도를 함수로 사용하여 계산되며, 안정적이고 미분 가능한 업데이트를 보장한다.
• 이 방법은 훈련 중에 동적으로 진화하며, 최초에는 최소한의 마스킹으로 시작하여 관측된 기울기 일관성에 따라 점차 증가한다. 이는 암묵적인 냉각 스케줄을 모방한다.
• 손실 함수를 수정하지 않고 표준 백프로파게이션에 통합되어 있어, 기존 훈련 파ip라인과 호환된다.
• DomainBed 벤치마크를 사용해 평가되었으며, IRM, REx, CDANN, AND-mask와 같은 최신 기술(SOTA) 방법과 비교되었다.

실험 결과

연구 질문

• RQ1 기울기 방향과 크기 양쪽의 일치를 강제하는 연속적 기울기 마스킹 전략이 도메인 일반화에서 불변성 학습을 향상시킬 수 있는가?
• RQ2 SAND-mask는 최적화기 모멘텀과 데이터 노이즈에 민감한 이산적 AND-mask의 실패 모드를 완화하는가?
• RQ3 SAND-mask는 냉각 스케줄의 명시적 하이퍼파라미터 조정 없이도 뛰어난 일반화 성능을 달성할 수 있는가?
• RQ4 SAND-mask는 Colored MNIST 및 Spiral과 같은 벤치마크 데이터셋에서 최신 기술(SOTA) 방법과 비교해 어떻게 성능을 내는가?
• RQ5 SAND-mask의 동적이고 자가 적응형 특성은 고정 또는 수동으로 설정된 마스킹 전략보다 더 나은 수렴과 강건성을 제공하는가?

주요 결과

• SAND-mask는 이전 최신 기술(SOTA) 대비 Colored MNIST 데이터셋에서 6%의 절대 정확도 향상을 기록하여 62.3% ± 1.0의 성능을 달성했다.
• 전체 DomainBed 벤치마크에서 SAND-mask는 Cifar-10, Cifar-100, Sketch 등 여러 데이터셋에서 최신 기술(SOTA) 방법을 능가하거나 동등하게 유지하며 경쟁적인 성능을 보였다.
• SAND-mask는 Colored MNIST에서 일반화 성능을 크게 향상시켰으며, AND-mask와 SAND-mask 간의 성능 격차 약 15%는 강력한 불변성 학습을 시사한다.
• Spiral 데이터셋에서는 SAND-mask가 AND-mask보다 성능이 열 劣하다 (49.2% 대 88.0%)는 점에서, 특정 유형의 분포 이탈을 포착하는 데 한계가 있음을 시사한다.
• 이 방법은 초기화 및 노이즈에 대해 강건성을 보이며, 이는 연속적이고 미분 가능한 설계 덕분에 기존 AND-mask에서 관찰된 실패 모드를 피한다.
• SAND-mask는 명시적인 냉각 스케줄 조정 없이도 효과적으로 불변 특징을 학습하며, 훈련 중 기울기 일관성에 따라 마스킹 강도를 자동으로 적응시킨다.