[논문 리뷰] Efficient Domain Generalization via Common-Specific Low-Rank Decomposition

Vihari Piratla, Praneeth Netrapalli외 1명|arXiv (Cornell University)|2020. 03. 28.

Domain Adaptation and Few-Shot Learning참고 문헌 21인용 수 57

한 줄 요약

CSD를 소개합니다. 이는 도메인 일반화(DG)를 위한 최종 계층의 공통-특수 저랭크 분해이며, 직교성 제약과 전용 공통 손실을 포함하여 이미지 및 음성 도메인 전반에서 메타러닝 기준선보다 competitive accurate하고 학습 속도가 빠릅니다.

ABSTRACT

Domain generalization refers to the task of training a model which generalizes to new domains that are not seen during training. We present CSD (Common Specific Decomposition), for this setting,which jointly learns a common component (which generalizes to new domains) and a domain specific component (which overfits on training domains). The domain specific components are discarded after training and only the common component is retained. The algorithm is extremely simple and involves only modifying the final linear classification layer of any given neural network architecture. We present a principled analysis to understand existing approaches, provide identifiability results of CSD,and study effect of low-rank on domain generalization. We show that CSD either matches or beats state of the art approaches for domain generalization based on domain erasure, domain perturbed data augmentation, and meta-learning. Further diagnostics on rotated MNIST, where domains are interpretable, confirm the hypothesis that CSD successfully disentangles common and domain specific components and hence leads to better domain generalization.

연구 동기 및 목표

• 다중 도메인 설정에서 과적합을 방지하기 위한 DG의 동기 부여 및 분석.
• 도메인 일반적 공통 구성요소를 도메인별 저랭크 구성요소와 분리하는 원칙적 분해 기반 DG 방법(CSD)을 제안합니다.
• 공유 구성요소의 식별 가능성을 확립하고 저랭크 선택이 도메인 일반화에 미치는 영향을 연구합니다.
• CSD가 그래디언트 기반 메타러닝 및 기타 DG 방법에 비해 더 빠르고 종종 더 정확하다는 것을 다양한 데이터 세트에서 보여줍니다.
• 최종 계층으로 분해를 제한하고 공통 손실과 직교성 제약을 도입하여 신경망에 이 접근을 확장합니다.

제안 방법

• 최종 선형 분류 계층을 공통 구성요소와 도메인 특이 저랭크 부분으로 분해하고 그 사이에 직교성 제약을 부과합니다.
• 도메인 특이 소프트맥스 매개변수 w_i를 w_c + W_s γ_i로 학습시키고, 공통 특징의 학습을 촉진하기 위해 w_i와 w_c 모두에 손실을 부과합니다.
• W_s의 span과 w_c가 직교하도록 정상화 규제기를 사용하고 매개변수의 노름을 제어합니다.
• 공통 손실 항과 특수 손실 항, 그리고 직교성 정규화를 포함하는 CSD라는 알고리즘을 제시하여 θ(특징 추출기), w_c, W_s, γ_i를 공동 업데이트합니다.
• 공통 분류기와 도메인 특이 구성 요소 사이의 식별 가능성 결과를 도출합니다: w_c는 도메인 특이 구성 요소에 직교 투영된 e_c에 대응하므로 공유 분류기가 잘 정의됩니다.
• 저랭크 분해에서 k의 역할을 분석하고, 분해를 계산하는 원칙적 Eckart–Young–Mirsky 유사한 접근법을 제시하며 편향과 잡음 간의 트레이드오프를 논의합니다.

실험 결과

연구 질문

• RQ1 공통-특정 분해 프레임워크 내부에서 공유 도메인 일반 분류기 w_c를 고유하게 식별할 수 있는가?
• RQ2 도메인 특이 구성 요소의 랭크 k가 도메인 일반화 성능 및 노이즈 억제에 어떤 영향을 미치는가?
• RQ3 최종 계층에 한정된 분해와 직교성 및 공통 손실을 적용하면 메타러닝 및 데이터 증강 DG 방법과 비교해 경쟁력 있거나 더 우수한 도메인 일반화를 얻을 수 있는가?
• RQ4 CSD가 많은 학습 도메인에서도 그레이디언트 기반 DG 방법보다 확장 가능하고 더 빠르면서 정확도를 유지하거나 향상시키는가?
• RQ5 이미지 및 음성 작업에서 실험이 CSD가 공통 구성요소와 도메인 특이 구성요소를 해방시켜 도메인 외 일반화를 개선한다는 가설을 지지하는가?

주요 결과

• CSD는 여러 데이터 세트에서 도메인 제거, 증강, 메타러닝에 기반한 최첨단 DG 방법들과 동등하거나 이를 능가합니다.
• 다수의 도메인이 사용 가능한 경우 대표적 메타러닝 DG 방법들에 비해 연구 속도에서 한 차례(orders_of_magnitude) 큰 속도 향상을 제공하면서도 더 높은 정확도를 제공합니다.
• 회전된 MNIST 및 해석 가능한 도메인에서 공유 구성요소와 도메인 특이 구성요소의 명확한 분리(disentanglement)가 나타납니다.
• 제외 연구에서 직교성, 공통 손실, 도메인 특이 손실의 조합이 기준 ERM을 넘어서는 이득에 결정적임을 보여주는 제거 실험(ablation studies)이 있습니다.
• 최적 랭크 k는 도메인 수와 데이터 특성에 의존하며, 중간 규모의 도메인 수에는 k=1이 유리하고 매우 큰 도메인 집합에는 더 높은 k가 이득을 주는 경향이 있습니다; 교차 검증으로 견고한 성능을 제공합니다.
• 이미지 및 음성 작업 전반에서 CSD는 ERM에 비해 modest한 학습 시간 오버헤드로도 도메인 외 정확도를 지속적으로 향상시켰습니다.