[논문 리뷰] Support and Invertibility in Domain-Invariant Representations

Fredrik Johansson, David Sontag외 1명|arXiv (Cornell University)|2019. 03. 08.

Domain Adaptation and Few-Shot Learning참고 문헌 32인용 수 42

한 줄 요약

논문은 감독 없이 도메인 적응을 위한 도메인 불변 표현 학습의 한계에 대해 비판하며, 비가역적 표현과 엄격한 불변성이 대상 성능을 저해할 수 있음을 강조하고, 적응 위험을 더 잘 특징짓기 위한 지원(overlap) 기반의 경계를 제시한다.

ABSTRACT

Learning domain-invariant representations has become a popular approach to unsupervised domain adaptation and is often justified by invoking a particular suite of theoretical results. We argue that there are two significant flaws in such arguments. First, the results in question hold only for a fixed representation and do not account for information lost in non-invertible transformations. Second, domain invariance is often a far too strict requirement and does not always lead to consistent estimation, even under strong and favorable assumptions. In this work, we give generalization bounds for unsupervised domain adaptation that hold for any representation function by acknowledging the cost of non-invertibility. In addition, we show that penalizing distance between densities is often wasteful and propose a bound based on measuring the extent to which the support of the source domain covers the target domain. We perform experiments on well-known benchmarks that illustrate the short-comings of current standard practice.

연구 동기 및 목표

• 공변 이동(covariate shift) 및 부분 중첩(partial overlap) 하에서 도메인 불변 표현의 충분성을 의문시한다.
• 비가역적 표현을 고려한 일반화 경계를 제공한다.
• 단순한 밀도 거리만이 아니라 소스-대상 지원(overlap) 간의 중청에 기반한 경계를 제안한다.
• 표현 학습이 대상 성능에 도움이 되거나 해를 끼치는 시점을 조사하고 이론을 벤치마크와 연결한다.

제안 방법

• 고정된 표현과 비가역적 변환 하에서 공변 이동 하의 도메인 적응 경계를 검토하고 형식화한다.
• 소스와 타깃 지원 간의 중첩을 측정하기 위한 support sufficiency divergence를 도입한다.
• 표현의 정보 손실과 관련된 관찰 가능 항과 관찰 불가 항을 분리하는 새로운 목표 위험 경계(Theorem 2)를 도출한다.
• 추정 외삽 가정 하에 함수 클래스를 활용하여 경계를 더 촘촘하게 만드는 IPM 기반 변형(Theorem 3)으로 경계를 확장한다.
• 밀도 매칭을 통한 도메인 불변성 강제의 비용을 분석하고 MMD 기반 거리와의 비교를 포함한다.
• MNIST/MNIST-M에서 실험을 수행하여 표준 도메인 불변 방법이 언제 성능이 떨어질 수 있는지 보여준다.

실험 결과

연구 질문

• RQ1 도메인 불변 표현이 어떤 조건에서 신뢰할 수 있는 대상 위험 최소화를 제공하는가?
• RQ2 표현의 비가역성이 관찰 불가 적응 오차에 어떤 영향을 미치는가?
• RQ3 지원 중첩 기반의 경계가 밀도 거리 기반 경계보다 더 촘촘하고 정보에 근거한 보장을 제공할 수 있는가?
• RQ4 정보 손실로 인해 도메인 불변성을 강제하는 것이 예측 성능을 해칠 때는 언제인가?
• RQ5 이론적 통찰이 표준 도메인 적응 벤치마크에서 실험적 결과와 어떻게 일치하는가?

주요 결과

• 도메인 불변 표현은 중첩이 제한되거나 비가역적인 정보가 손실될 때 최적이 아닐 수 있거나 좋은 대상 위험을 보장하지 못할 수 있다.
• 대상 커버리지를 소스 지원의 범위로 평가하는 경계(support sufficiency)는 밀도 거리만으로 한정한 경계보다 적응 위험을 더 잘 특징지을 수 있다.
• 비가역 표현은 관찰 불가인 정보 손실 항을 유발하여 소스 성능이 좋아 보이더라도 대상 성능을 저하시킬 수 있다.
• 밀도 거리를 벌점하는 것이 항상 유익하지 않으며 중첩이 충분하지 않을 때 실제 적응 난이도를 오도할 수 있다.
• 손실 클래스에 대한 가정을 포함한 더 촘촘한 IPM 기반 경계는 외삽 가정이 있는 설정에서 일반 경계보다 개선된다.
• MNIST/MNIST-M에 대한 실험은 도메인 적대적 학습이 소스-전용 또는 대상-조정 기반에 비해 성능이 떨어질 수 있는 상황을 보여주며, 특히 라벨 주변 이동하에서 그렇다.