[논문 리뷰] Co-Regularized Adversarial Learning for Multi-Domain Text Classification

Wu Yuan, Diana Inkpen외 1명|arXiv (Cornell University)|2022. 01. 30.

Text and Document Classification Technologies인용 수 5

한 줄 요약

이 논문은 공유 잠재 공간을 두 개로 나누어 공정하게 정규화된 적대적 학습과 엔트로피 최소화를 통한 가상의 적대적 훈련을 활용하여 특징의 분류 가능성을 향상시키고 일반화 능력을 강화하는 다중 도메인 텍스트 분류 방법인 Co-Regularized Adversarial Learning(CRAL)을 제안한다. CRAL은 두 가지 벤치마크에서 최신 기술을 초월하며, 예측되지 않은 도메인으로의 제로샷 일반화 능력이 뛰어나다.

ABSTRACT

Multi-domain text classification (MDTC) aims to leverage all available resources from multiple domains to learn a predictive model that can generalize well on these domains. Recently, many MDTC methods adopt adversarial learning, shared-private paradigm, and entropy minimization to yield state-of-the-art results. However, these approaches face three issues: (1) Minimizing domain divergence can not fully guarantee the success of domain alignment; (2) Aligning marginal feature distributions can not fully guarantee the discriminability of the learned features; (3) Standard entropy minimization may make the predictions on unlabeled data over-confident, deteriorating the discriminability of the learned features. In order to address the above issues, we propose a co-regularized adversarial learning (CRAL) mechanism for MDTC. This approach constructs two diverse shared latent spaces, performs domain alignment in each of them, and punishes the disagreements of these two alignments with respect to the predictions on unlabeled data. Moreover, virtual adversarial training (VAT) with entropy minimization is incorporated to impose consistency regularization to the CRAL method. Experiments show that our model outperforms state-of-the-art methods on two MDTC benchmarks.

연구 동기 및 목표

• 적대적 학습, 공유-개별 특징 추출, 엔트로피 최소화에 의존하는 기존 다중 도메인 텍스트 분류(MDTC) 방법의 한계를 해결한다.
• 세 가지 핵심 문제를 해결한다: 분산 최소화에 의한 부족한 도메인 정렬, 분류 조건부 분포의 불일치로 인한 분류 능력 저하, 표준 엔트로피 최소화에 의한 과신뢰 예측.
• 다중 소스 비지도 도메인 적응(MS-UDA) 환경에서 예측되지 않은 도메인으로 지식 전이를 가능하게 하여 모델의 일반화 능력을 향상시킨다.
• 공정하게 정규화와 일관성 정규화를 통해 중복된 가설 클래스를 줄이는 강력하고 일관된 학습 프레임워크를 개발한다.

제안 방법

• 표현 다양성을 향상시키기 위해 두 개의 서로 다른 공유 특징 추출기를 통해 두 개의 다양한 공유 잠재 공간을 구성한다.
• 각 공유 공간에서 클래스 조건부 특징 분포의 도메인 분산을 최소화하여 적대적 도메인 정렬을 수행한다.
• 비라벨 데이터에서 두 브랜치 간 예측 불일치를 방지하기 위해 공정하게 정규화를 강제하여 중복 정렬을 줄인다.
• 가상의 적대적 훈련(VAT)과 엔트로피 최소화를 통합하여 라벨이 붙은 데이터와 비라벨 데이터 양쪽에 일관성 정규화를 적용한다.
• 도메인 정렬 손실, 불일치 페널티, VAT 기반 일관성 정규화를 조합한 다성분 손실 함수를 사용한다.
• 라벨이 붙은 데이터에 대한 지도 학습 손실과 비라벨 데이터에 대한 자기지도 학습 손실을 조합하여 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 공정하게 정규화된 적대적 학습은 다중 도메인 텍스트 분류에서 도메인 정렬을 향상시키면서도 특징의 분류 가능성을 유지할 수 있는가?
• RQ2 비라벨 데이터의 예측에서 두 개의 다양한 적대적 브랜치 간 일치를 강제하면 중복된 가설 클래스가 감소하고 모델의 강건성이 향상되는가?
• RQ3 VAT와 엔트로피 최소화를 통합하면 예측의 과신을 완화하고 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ4 제안된 방법은 다중 소스 비지도 도메인 적응(MS-UDA) 환경에서 예측되지 않은 도메인으로의 제로샷 전이에 얼마나 효과적인가?

주요 결과

• CRAL은 Amazon 리뷰 및 FDU-MTL 벤치마크에서 최신 기술을 초월하며, 평균 정확도가 더 높게 나타났다.
• Amazon 리뷰 데이터셋에서 CRAL은 MS-UDA 설정에서 평균 정확도 92.3%를 기록하여 CAN 방법보다 2.22% 높은 성능을 보였다.
• 제거 분석 결과, 불일치 페널티 손실($\mathcal{L}_d$)이 가장 크게 기여하여 성능을 2.13% 향상시켰다.
• 파라미터 민감도 분석 결과, $\lambda_{uvt}$와 $\lambda_{lvt}$에 최적의 값이 존재하며, 이 값들을 초과하면 성능이 최점에 도달한 후 감소함을 확인했다.
• $\lambda_d$와 $\lambda_\vartriangle$의 하이퍼파라미터 변화에 대해 모델의 성능이 안정적으로 유지됨을 확인하여 넓은 설정 범위에서의 안정적인 성능을 입증했다.
• 전체 CRAL 모델이 최고의 성능을 기록하여 공정하게 정규화, VAT, 엔트로피 최소화의 상호 보완적 기여를 확인했다.