[논문 리뷰] A Unified Joint Maximum Mean Discrepancy for Domain Adaptation

Wei Wang, Baopu Li외 7명|arXiv (Cornell University)|2021. 01. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 8

한 줄 요약

이 논문은 근사 추정에서 복잡한 텐서곱 연산자가 존재하는 문제로 인해 복잡한 문제에 봉착하는 연합 최대 평균 차이(JMMD)의 통합적이고 최적화된 공식화를 해결하기 위해, 유계된, 최적화된 형태의 JMMD를 유도함으로써, 근연, 조건부 클래스, 가중 조건부 클래스 도메인 적응을 일반화하는 통합된 연합 최대 평균 차이(JMMD) 프레임워크를 제안한다. 이는 특징-라벨 의존성 열화와 라벨 분포 이동을 새로운 힐버트-슈미트 독립성 기반 MMD 행렬과 강력한 라벨 커널을 통해 해결하며, 표준 및 분포 이동에 강건한 도메인 적응 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

Domain adaptation has received a lot of attention in recent years, and many algorithms have been proposed with impressive progress. However, it is still not fully explored concerning the joint probability distribution (P(X, Y)) distance for this problem, since its empirical estimation derived from the maximum mean discrepancy (joint maximum mean discrepancy, JMMD) will involve complex tensor-product operator that is hard to manipulate. To solve this issue, this paper theoretically derives a unified form of JMMD that is easy to optimize, and proves that the marginal, class conditional and weighted class conditional probability distribution distances are our special cases with different label kernels, among which the weighted class conditional one not only can realize feature alignment across domains in the category level, but also deal with imbalance dataset using the class prior probabilities. From the revealed unified JMMD, we illustrate that JMMD degrades the feature-label dependence (discriminability) that benefits to classification, and it is sensitive to the label distribution shift when the label kernel is the weighted class conditional one. Therefore, we leverage Hilbert Schmidt independence criterion and propose a novel MMD matrix to promote the dependence, and devise a novel label kernel that is robust to label distribution shift. Finally, we conduct extensive experiments on several cross-domain datasets to demonstrate the validity and effectiveness of the revealed theoretical results.

연구 동기 및 목표

• empirical 추정에서 복잡한 텐서곱 연산자가 존재하는 문제로 인해 복잡한 문제에 봉착하는 연합 최대 평균 차이(JMMD)의 통합적이고 최적화된 공식화의 부족을 해결하기 위해.
• 표준 JMMD가 특징-라벨 의존성(분류 가능성을 높이는 능력)을 열화시킨다는 것을 드러내며, 이로 인해 분류 성능이 저하된다는 점을 밝히기 위해.
• 불균형 데이터셋에서 특히 두드러지는 라벨 분포 이동에 민감한 가중 조건부 클래스 커널을 사용할 경우의 민감도를 줄이기 위해.
• 특징-라벨 상관관계를 강화하기 위해 힐버트-슈미트 독립성 기준(HSI)에 기반한 새로운 MMD 행렬을 제안하기 위해.
• 목표 도메인의 라벨 분포 이동에 민감도를 줄이기 위해 설계된 강력한 라벨 커널을 제안하기 위해.

제안 방법

• 다양한 라벨 커널 선택을 통해 근연, 조건부 클래스, 가중 조건부 클래스 분포를 특수한 경우로 포함하는 통합 분석적 형태의 JMMD를 유도하기 위해.
• 특징-라벨 의존성을 강화하고 표준 JMMD로 인해 발생하는 분류 가능성 열화를 완화하기 위해, 힐버트-슈미트 독립성 기준(HSI)에서 유도된 새로운 MMD 행렬 $\mathbf{M}^*$ 를 도입하기 위해.
• 목표 도메인의 라벨 분포 이동에 민감도를 줄이기 위해 클래스 사전 확률을 통합한 새로운 라벨 커널 $\mathbf{K}_{yy}^4$ 를 제안하기 위해.
• 표준 JMMD와 HSI 강화 MMD 성분을 균형 잡는 데 사용되는 단일 하이퍼파rameter $\delta$ 를 통해 통합된 JMMD 목적함수를 최적화하기 위해.
• PCA, SVM, LP, NCP, DA 기반 모델을 사용하여 표준 및 라벨 분포 이동 상황에 적용하여 평가하기 위해.
• 지표 라벨을 사용한 추론 분석을 통해 특징 분포 거리와 HSI 메트릭 향상 여부를 검증하기 위해.

실험 결과

연구 질문

• RQ1 근연, 조건부 클래스, 가중 조건부 클래스 도메인 적응을 특수한 경우로 포함하는 통합된 수학적 공식화된 JMMD를 도출할 수 있는가?
• RQ2 표준 JMMD는 특징-라벨 의존성을 열화시키는가? 만약 그렇다면, 최적화 과정에서 이러한 열화를 어떻게 완화할 수 있는가?
• RQ3 가중 조건부 클래스 JMMD는 목표 도메인의 라벨 분포 이동에 민감한가? 그리고 커널 설계를 통해 이러한 민감도를 줄일 수 있는가?
• RQ4 힐버트-슈미트 독립성 기준에 기반한 새로운 MMD 행렬은 도메인 적응에서 특징-라벨 상관관계를 효과적으로 향상시킬 수 있는가?
• RQ5 제안된 방법은 표준 및 분포 이동에 강건한 도메인 적응 작업에서 다양한 하이퍼파rameter, 특히 $\delta$ 에 대해 얼마나 강건한가?

주요 결과

• 제안된 통합 JMMD 프레임워크는 Office10-Caltech10 데이터셋의 6개 표준 도메인 적응 작업에서 최신 기술 성능을 달성하였으며, WWC*는 D2에서 86.7%의 정확도를 기록하여 이전 방법들을 능가하였다.
• 라벨 분포 이동 상황에서 WWC* 버전은 D2에서 81.0%의 정확도를 기록하여 다음으로 좋은 방법(78.3%)보다 뚜렷이 뛰어나며, 분포 이동에 대한 강건성을 입증하였다.
• 추론 분석을 통해 제안된 HSI 기반 MMD 행렬 ($\mathbf{M}^*$) 이 특징-라벨 상관관계를 효과적으로 증가시킴을 확인하였으며, 특징 임bedding에서 HSI 거리 감소로 나타났다.
• 민감도 분석 결과 최적의 성능가 가장 일관되게 $\delta = 0.1$ 근처에서 달성되었으며, 안정적이고 강건한 하이퍼파rameter 행동을 나타내었다.
• 통합 프레임워크는 표준 JMMD가 특징-라벨 의존성을 열화시킴을 드러내었으며, 이 열화는 제안된 HSI 강화 MMD 행렬과 강력한 라벨 커널에 의해 완화됨을 확인하였다.
• 제안된 라벨 커널 $\mathbf{K}_{yy}^4$ 는 시각화 및 정량적 비교를 통해 라벨 분포 이동 하에서 특징 분포의 부정확성 감소를 효과적으로 줄임을 입증하였다.