[논문 리뷰] Conditional Adversarial Networks for Multi-Domain Text Classification

Yuan Wu, Diana Inkpen외 1명|arXiv (Cornell University)|2021. 02. 19.

Topic Modeling참고 문헌 32인용 수 7

한 줄 요약

이 논문은 다중 도메인 텍스트 분류를 위한 조건부 적대적 네트워크(CANs)를 제안하며, 조건부 도메인 판별자와 엔트로피 조건화를 통해 공유 특징과 레이블 예측에서 도메인 변동성을 동시에 모델링함으로써 특징의 구분 능력을 향상시킨다. CANs는 두 가지 벤치마크에서 최신 기준 성능을 달성하고, 알려지지 않은 도메인으로도 효과적으로 일반화된다.

ABSTRACT

In this paper, we propose conditional adversarial networks (CANs), a framework that explores the relationship between the shared features and the label predictions to impose more discriminability to the shared features, for multi-domain text classification (MDTC). The proposed CAN introduces a conditional domain discriminator to model the domain variance in both shared feature representations and class-aware information simultaneously and adopts entropy conditioning to guarantee the transferability of the shared features. We provide theoretical analysis for the CAN framework, showing that CAN's objective is equivalent to minimizing the total divergence among multiple joint distributions of shared features and label predictions. Therefore, CAN is a theoretically sound adversarial network that discriminates over multiple distributions. Evaluation results on two MDTC benchmarks show that CAN outperforms prior methods. Further experiments demonstrate that CAN has a good ability to generalize learned knowledge to unseen domains.

연구 동기 및 목표

• 기존의 적대적 방법이 도메인의 근본적인 분포만 정렬할 경우 특징의 구분 능력 확보에 실패하는 문제를 해결한다.
• 공유 특징과 레이블 예측 간의 관계를 모델링하여 특징 품질을 향상시키고, 구분 능력을 강화한다.
• 엔트로피 조건화를 활용해 고신뢰도, 이식이 쉬운 예측을 우선시함으로써 공유 특징의 이식 가능성을 확보한다.
• 비지도 다중 소스 도메인 적응 설정에서 알려지지 않은 도메인으로도 효과적으로 일반화할 수 있도록 한다.
• 공유 특징과 레이블 예측의 공동 분포 간 총 발산(total divergence)을 최소화하는 이론적 검증을 수행한다.

제안 방법

• 레이블 예측에 조건부로 설정된 조건부 도메인 판별자를 도입하여, 공유 특징과 클래스 인식 정보에서 모두 도메인 변동성을 모델링한다.
• 적대적 훈련 중에 저신뢰도 예측을 가중치를 낮추기 위해 엔트로피 조건화를 적용하여 특징의 이식 가능성을 향상시킨다.
• 공유-개별(paradigm) 구조를 채택하여 특징을 도메인 불변 공유 특징과 도메인 특화된 개별 특징으로 분리한다.
• 공유 특징 추출기와 조건부 도메인 판별자를 적대적으로 훈련시켜, 공유 특징과 레이블의 공동 분포 간 발산을 최소화한다.
• 이론적 분석을 통해 CAN 목적함수는 공유 특징과 레이블 예측의 다수 공동 분포 간 총 발산을 최소화하는 것과 동치임을 입증한다.
• 비지도 적응에서는 타겟 도메인의 레이블이 없는 경우 공유 특징만을 사용하여 분류를 수행하며, 도메인 특화 특징은 0으로 설정된다.

실험 결과

연구 질문

• RQ1 공유 특징과 레이블 예측의 공동 정렬이 다중 도메인 텍스트 분류에서 구분 능력을 향상시키는가?
• RQ2 레이블 예측에 조건부로 설정된 도메인 판별자가 기존의 도메인 적대적 훈련보다 더 나은 특징 표현을 제공하는가?
• RQ3 엔트로피 조건화를 통해 고신뢰도 예측에 집중함으로써 공유 특징의 이식 가능성을 향상시킬 수 있는가?
• RQ4 목표 도메인에서 레이블 데이터가 없을 경우 CAN은 얼마나 효과적으로 알려지지 않은 도메인으로 일반화되는가?
• RQ5 CAN 프레임워크는 공유 특징과 레이블의 다수 공동 분포 간 발산을 최소화하는 데 이론적으로 타당한가?

주요 결과

• CAN은 아마존 리뷰 데이터셋에서 최신 기준 성능을 달성하여 평균 정확도와 도메인 별 정확도 모두에서 이전 방법들을 능가한다.
• FDU-MTL 데이터셋에서 CAN은 최고의 평균 정확도를 기록했으며, 16개 도메인 중 10개에서 1위를 차지했다.
• 절단 실험을 통해 조건부 도메인 판별자와 엔트로피 조건화가 모두 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 떨어졌다.
• 비지도 다중 소스 도메인 적응 설정에서, CAN은 DANN, mSDA, MDAN을 포함한 모든 베이스라인보다 네 개 타겟 도메인 중 세 곳에서 성능이 뛰어났다.
• 비지도 적응에서 CAN은 평균 정확도가 가장 높아, 알려지지 않은 도메인으로의 강력한 일반화 능력을 입증했다.
• 이론적 분석을 통해 CAN이 공유 특징과 레이블 예측의 공동 분포 간 총 발산을 최소화함을 확인하였으며, 이는 적대적 정렬 메커니즘의 타당성을 뒷받침한다.