[논문 리뷰] Cross-Target Stance Classification with Self-Attention Networks

Chang Xu, Cécile Paris외 2명|arXiv (Cornell University)|2018. 05. 17.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 도메인 특화된 특징을 학습함으로써 원천 타겟(예: 기후 변화)에서 목적 타겟(예: 광산 프로젝트)으로 지식을 전이하는 자기주의 주의 신경망인 CrossNet을 제안한다. 모델은 타겟 간 공통의 고수준 도메인 문제에 주목함으로써 일반화 능력을 향상시켜, 기준 모델 대비 관련 타겟에서 뛰어난 성능을 달성한다.

ABSTRACT

In stance classification, the target on which the stance is made defines the boundary of the task, and a classifier is usually trained for prediction on the same target. In this work, we explore the potential for generalizing classifiers between different targets, and propose a neural model that can apply what has been learned from a source target to a destination target. We show that our model can find useful information shared between relevant targets which improves generalization in certain scenarios.

연구 동기 및 목표

• 각 새로운 타겟에 대해 재학습이 필요한 타겟 특화된 입장 분류기의 한계를 해결하기 위해.
• 공통의 도메인 특징을 활용하여 모델이 관련 타겟 간 일반화할 수 있는지 탐색하기 위해.
• 다른 타겟에 대해 수행되는 입장에서 공통되는 도메인 특성 특징을 식별하고 활용하는 방법을 개발하기 위해.
• 관련 원천 타겟에서의 지식을 활용하여 새로운 타겟에서의 제로샷 또는 희소한 입장 분류를 향상시키기 위해.
• 자기주의 주의 메커니즘이 타겟 간 추론을 위한 의미적으로 관련된 문장 부분을 효과적으로 강조할 수 있는지 검증하기 위해.

제안 방법

• 입장이 포함된 문장과 타겟을 위한 별도의 BiLSTM 네트워크를 갖는 이중 인코더 아키텍처를 사용한다.
• 타겟 의존적 문맥을 모델링하기 위해 문장 BiLSTM를 타겟 BiLSTM의 최종 은닉 상태와 셀 상태로 초기화함으로써 조건부 인코딩을 적용한다.
• 특성 주의 레이어에서 자기주의 주의 메커니즘을 사용하여 도메인 특화된 특징에 해당하는 문장 부분을 식별하고 가중치를 부여한다.
• 전체 코퍼스에 걸쳐 주의 가중치를 공유하여 다수의 예제로부터 반복적이고 도메인 관련 패턴을 학습한다.
• 주의 가중치를 활용하여 ' reef ', '환경 재앙'과 같은 핵심 어휘에 집중함으로써 타겟 간 사용자 핵심 우려를 반영한다.
• 원천 타겟에서의 지식을 활용하여 목적 타겟에서의 입장 레이블(찬성, 반대)을 예측하기 위해 엔드 투 엔드로 모델을 학습시킨다.

실험 결과

연구 질문

• RQ1 한 타겟에서 학습된 입장 분류기가 다른 관련 타겟으로 효과적으로 일반화될 수 있는가?
• RQ2 다른 타겟에서의 입장에 걸쳐 일관되게 주목되는 도메인 특화된 특징의 유형은 무엇인가?
• RQ3 자기주의 주의 메커니즘이 타겟 간 추론을 위해 문장의 의미적으로 관련된 부분을 얼마나 잘 식별하고 집중할 수 있는가?
• RQ4 제안된 모델의 성능이 기준 모델 대비 타겟 간 입장 분류에서 어떻게 비교되는가?
• RQ5 원천 코퍼스에서 희귀하지만 목적 타겟에 있어 핵심적인 키워드(예: '낙태', '트럼프')를 모델이 무시할 수 있는가?

주요 결과

• 제안된 CrossNet 모델은 다수의 강력한 기준 모델 대비 목적 타겟에서 뛰어난 입장 분류 성능을 달성하며, 공통적인 우려가 있는 도메인에서 특히 두각을 나타낸다.
• 자기주의 주의 가중치의 시각화 결과, 광산 프로젝트의 입장 분류 시 'reef', '파괴', '환경 재앙'과 같은 도메인 관련 어휘를 성공적으로 강조하는 것으로 나타났다.
• 여성 권리 분야에선 '페미니스트', '평등', '권리'와 같은 특징을, 미국 정치 분야에선 '대통령', '꿈', '공화당'을 학습함으로써 효과적인 도메인 표현 학습이 이루어졌음을 시사한다.
• 목적 타겟 전용 어휘(예: '낙태', '트럼프')는 원천 타겟에서 일반화할 때 잘 포착되지 않아, 모델이 공통 도메인 특징에 의존함을 확인한다.
• 모델는 어휘 일치가 아닌 고수준의 우려(예: 환경 파괴)에 집중함으로써 효과적인 전이 학습을 수행함으로써 의미적으로 관련된 타겟 간 일반화를 가능하게 한다.
• 특성 주의 레이어는 감정을 담고 있거나 도메인 핵심적인 어휘(예: '좋음', '瘋', '범죄자')를 성공적으로 식별하고 강조하여 정확한 입장 예측에 기여한다.