[논문 리뷰] DAN: Dual-View Representation Learning for Adapting Stance Classifiers to New Domains

Chang Xu, Cécile Paris외 4명|arXiv (Cornell University)|2020. 03. 13.

Topic Modeling참고 문헌 33인용 수 6

한 줄 요약

이 논문은 주관적(의견 기반) 및 객관적(사실 기반) 입장 표현을 별도로 모델링함으로써 새로운 도메인에 대한 입장 분류기 적응을 향상시키는 이중시각 표현 학습 프레임워크인 DAN을 제안한다. 두 개의 별도 시각에서 도메인 불변 특징을 학습하고 최적의 방식으로 융합함으로써, 단일 시각 방법보다 더 나은 정렬과 입장 식별 성능을 달성하며, 20개의 적응 작업 전반에서 최신 기준 성능을 일관되게 초월한다. 또한 보조 A-거리 값이 낮아 도메인 간 불일치가 감소함을 확인한다.

ABSTRACT

We address the issue of having a limited number of annotations for stance classification in a new domain, by adapting out-of-domain classifiers with domain adaptation. Existing approaches often align different domains in a single, global feature space (or view), which may fail to fully capture the richness of the languages used for expressing stances, leading to reduced adaptability on stance data. In this paper, we identify two major types of stance expressions that are linguistically distinct, and we propose a tailored dual-view adaptation network (DAN) to adapt these expressions across domains. The proposed model first learns a separate view for domain transfer in each expression channel and then selects the best adapted parts of both views for optimal transfer. We find that the learned view features can be more easily aligned and more stance-discriminative in either or both views, leading to more transferable overall features after combining the views. Results from extensive experiments show that our method can enhance the state-of-the-art single-view methods in matching stance data across different domains, and that it consistently improves those methods on various adaptation tasks.

연구 동기 및 목표

• 새로운 도메인에서 애너테이션된 입장 데이터가 제한적인 문제를 해결하기 위해 입장 분류의 도메인 적응을 향상시키는 것.
• 주관적(의견 기반) 및 객관적(사실 기반) 언어 유형으로 나누어지는 입장 표현을 식별하고 모델링하는 것.
• 각각의 표현 유형에 맞는 별도의 시각에서 도메인 불변이고 입장 식별 가능한 특징을 학습하는 이중시각 적응 네트워크(DAN)를 설계하는 것.
• 이중시각 특징의 공동 학습 및 최적 융합이 단일 시각 접근법보다 더 나은 정렬과 성능을 이끌어내는지 검증하는 것.
• 정량적 및 정성적 분석을 통해 다양한 적응 작업에서 DAN의 효과성을 입증하는 것.

제안 방법

• DAN은 각 입력 문장을 두 개의 시각으로 분해한다: 하나는 주관적 표현(의견)을 위한 것이고, 다른 하나는 객관적 표현(사실)을 위한 것이다. 이를 통해 별도의 특징 학습이 가능해진다.
• 모델은 각 시각에서 적대적 훈련을 통해 도메인 불변성을 강제하기 위해 시각별 도메인 식별기(Discriminators)를 활용한다.
• 각 시각은 해당 표현 유형의 언어적 특성에 맞게 조정된 공유 인코더 네트워크를 통해 입장 식별 가능한 특징을 학습한다.
• 학습된 특징을 최적의 방식으로 융합하기 위해, 두 시각에서 가장 성능이 좋은 특징을 가중 가능한 융합 메커니즘을 사용하여 통합된 이식 가능한 표현을 생성한다.
• 모든 구성 요소는 입장 분류 및 도메인 적대적 목표를 포함하는 다중 작업 손실을 사용하여 백프로파게이션을 통해 함께 훈련된다.
• 이 프레임워크는 기존의 단일 시각 도메인 적응 방법(DANN, WDGRL 등)과 호환되며, 이중시각 학습 메커니즘을 통합함으로써 성능 향상이 가능하다.

실험 결과

연구 질문

• RQ1 주관적 및 객관적 입장 표현을 별도의 시각으로 모델링하는 것이 입장 분류의 도메인 적응 성능을 향상시키는가?
• RQ2 두 개의 별도된 언어적 시각에서 도메인 불변 특징을 학습하는 것이 단일 전역 특징 공간보다 소스 도메인과 타겟 도메인 간 정렬을 더 잘 이끌어내는가?
• RQ3 이중시각 특징 융합이 단일 시각 방법에 비해 전체적인 이식 가능성과 입장 식별 능력에 어떤 영향을 미치는가?
• RQ4 제안된 이중시각 적응이 도메인 간 보조 A-거리 값을 얼마나 줄이는가? 이는 도메인 간 불일치 감소를 의미한다.
• RQ5 DAN 프레임워크는 기존의 최신 기준 단일 시각 도메인 적응 방법과 효과적으로 통합되어 성능을 향상시킬 수 있는가?

주요 결과

• D-DANN과 D-WDGRL은 DAN을 통한 개선된 DANN 및 WDGRL의 변종로, 20개의 모든 적응 작업에서 원본 대비 일관되게 낮은 보조 A-거리 값을 기록하여 도메인 정렬이 향상됨을 확인했다.
• DAN이 학습한 이중시각 특징는 단일 시각 방법에 비해 더 도메인 불변적이며 입장 식별 능력이 뛰어나, t-SNE 투영을 통해 시각적으로 확인되었다.
• 정성적 분석 결과, 주관적 및 객관적 시각은 서로 다른 언어적 패턴을 포착하였으며, 각 시각이 최종 표현에 고유한 식별 능력을 기여하였다.
• 이중시각 특징의 최적 융합은 단일 시각을 사용하는 것보다 더 이식 가능한 표현을 생성하였으며, 이는 시각별 학습과 융합의 필요성을 입증한다.
• 제안된 방법은 다양한 적응 작업에서 기존 단일 시각 적응 방법의 성능을 향상시켰으며, 이는 일반화 가능성과 효과성을 입증한다.
• 결과는 세분화된 이중 시각을 통한 적응이 자원이 제한된 환경에서 도메인 불일치를 감소시키고 입장 분류의 일반화 능력을 향상시킴을 확인한다.