[논문 리뷰] Domain Generalization via Causal Adjustment for Cross-Domain Sentiment Analysis

Siyin Wang, Jie Zhou외 4명|arXiv (Cornell University)|2024. 02. 22.

Sentiment Analysis and Opinion Mining인용 수 4

한 줄 요약

이 논문은 교차 도메인 감성 분석에서 도메인 일반화를 위한 원인 조정 기반 프레임워크를 제안하며, 일반화된 테스트 도메인에서의 성능 향상을 위해 도메인 불변 및 도메인 특화 표현을 분리한다. 원인 관계를 모델링하고 배경 조정을 적용하여 혼동 요인의 영향을 제거함으로써, 다양한 도메인과 동일한 도메인 데이터셋에서 최신 기술 수준의 성능을 달성하며, 강건성과 개선된 불변 표현 학습 능력을 입증한다.

ABSTRACT

Domain adaption has been widely adapted for cross-domain sentiment analysis to transfer knowledge from the source domain to the target domain. Whereas, most methods are proposed under the assumption that the target (test) domain is known, making them fail to generalize well on unknown test data that is not always available in practice. In this paper, we focus on the problem of domain generalization for cross-domain sentiment analysis. Specifically, we propose a backdoor adjustment-based causal model to disentangle the domain-specific and domain-invariant representations that play essential roles in tackling domain shift. First, we rethink the cross-domain sentiment analysis task in a causal view to model the causal-and-effect relationships among different variables. Then, to learn an invariant feature representation, we remove the effect of domain confounders (e.g., domain knowledge) using the backdoor adjustment. A series of experiments over many homologous and diverse datasets show the great performance and robustness of our model by comparing it with the state-of-the-art domain generalization baselines.

연구 동기 및 목표

• 학습 중에 목표 도메인이 알려져 있다는 가정에 기반한 도메인 적응 방법의 한계를 해결함으로써, 미리 보지 못한 도메인으로의 일반화를 향상시키기 위해.
• 도메인 이동 상황에서 성능을 떨어뜨리는 도메인 불변 표현 내의 유사한 상관관계를 극복하기 위해.
• 단지 불변 표현에 집중하는 전통적인 도메인 일반화 방법에서 손실되는 중요한 도메인 특화 특징을 유지하기 위해.
• 입력 텍스트, 감성 레이블, 도메인 혼동 요인 간의 원인 관계를 모델링하여 더 강건하고 일반화 가능한 표현 학습을 가능하게 하기 위해.
• 학습 시 목표 도메인 데이터에 접근할 필요 없이, 동일한 도메인과 다양한 도메인 데이터셋 모두에 효과적으로 일반화되는 프레임워크를 개발하기 위해.

제안 방법

• 교차 도메인 감성 분석 문제를 원인 추론 문제로 재정의하여 입력 텍스트, 감성 레이블, 도메인 혼동 요인 간의 원인 관계를 모델링한다.
• 배경 조정을 적용하여 도메인 혼동 요인(예: 도메인 특화 언어 패턴)이 학습된 표현에 미치는 영향을 제거한다.
• 원인 구조를 사용하여 표현을 도메인 불변 및 도메인 특화 성분으로 분리함으로써 감성의 진정한 원인 요인을 분리한다.
• 불변 및 특화 특징을 모두 포함하는 일반화된 표현 Φ(x)를 학습함으로써 도메인 이동에 대한 강건성을 향상시킨다.
• 도메인 불변 및 도메인 특화 특징 추출을 위한 별도의 헤드를 갖춘 신경망 아키텍처를 사용하며, 원인 조정 목표 함수에 따라 훈련한다.
• 대체 데이터 증강 및 아블레이션 연구를 통해 원인 프레임워크 내 각 구성 요소의 효과성을 검증한다.

실험 결과

연구 질문

• RQ1 학습 중에 목표 도메인이 보이지 않는 상황에서 원인 프레임워크가 교차 도메인 감성 분석의 도메인 일반화를 향상시킬 수 있는가?
• RQ2 배경 조정이 학습된 표현에 영향을 미치는 도메인 혼동 요인의 영향을 얼마나 효과적으로 제거하는가?
• RQ3 분리된 도메인 불변 및 도메인 특화 표현이 다양한 도메인과 동일한 도메인 데이터셋에서의 일반화에 얼마나 기여하는가?
• RQ4 도메인 이동 상황에서 순수하게 불변 표현 학습보다 도메인 특화 특징을 유지하는 것이 더 높은 성능을 낼 수 있는가?
• RQ5 13개의 새로운 동일한 도메인 데이터셋에서 평가했을 때, 제안된 방법의 강건성은 어느 정도인가?

주요 결과

• 제안된 방법은 20개 이상의 동일한 도메인과 다양한 도메인 데이터셋에서 최신 기술 수준의 성능을 달성하며, 기존의 도메인 일반화 기준 모델을 능가한다.
• 13개의 새로운 동일한 도메인 데이터셋에서 강력한 강건성을 보이며, 이는 이전에 보지 못한 도메인으로의 일반화 능력을 확인한다.
• 아블레이션 연구 결과, 도메인 불변 및 도메인 특화 성분 모두가 필수적이며, 둘 중 하나를 제거하면 성능이 떨어진다.
• 표현 시각화 결과, 기준 모델 대비 더 잘 분리된 불변 표현을 학습하는 것으로 나타났다.
• 배경 조정 메커니즘이 유사한 도메인 혼동 요인의 영향을 효과적으로 줄여 더 신뢰할 수 있는 감성 예측을 가능하게 했다.
• 도메인 특화 맥락을 활용하여 'hot'과 같은 모호한 용어를 효과적으로 처리하며, 다양한 도메인에서 정확한 감성 분류를 수행했다.