[논문 리뷰] Transferable End-to-End Aspect-based Sentiment Analysis with Selective Adversarial Learning

Zheng Li, Xin Li외 4명|arXiv (Cornell University)|2019. 10. 30.

Sentiment Analysis and Opinion Mining인용 수 24

한 줄 요약

이 논문은 엔드 투 엔드 분할 기반 감성 분석(E2E-ABSA)에서 비지도 도메인 적응을 위한 새로운 선택적 적대적 학습(SAL) 방법을 제안한다. 이 방법은 외부 언어 자원에 의존하지 않고도 소스 도메인과 타겟 도메인 간에 미세한 수준의 단어 수준 정렬을 가능하게 하며, 적대적 학습을 통해 중요한 단어에 대한 정렬 가중치를 동적으로 학습함으로써 이전보다 높은 이식성과 사전 최고 성능을 달성한다. 네 개의 벤치마크 데이터셋에서 입증된다.

ABSTRACT

Joint extraction of aspects and sentiments can be effectively formulated as a sequence labeling problem. However, such formulation hinders the effectiveness of supervised methods due to the lack of annotated sequence data in many domains. To address this issue, we firstly explore an unsupervised domain adaptation setting for this task. Prior work can only use common syntactic relations between aspect and opinion words to bridge the domain gaps, which highly relies on external linguistic resources. To resolve it, we propose a novel Selective Adversarial Learning (SAL) method to align the inferred correlation vectors that automatically capture their latent relations. The SAL method can dynamically learn an alignment weight for each word such that more important words can possess higher alignment weights to achieve fine-grained (word-level) adaptation. Empirically, extensive experiments demonstrate the effectiveness of the proposed SAL method.

연구 동기 및 목표

• 새로운 도메인에서 애너테이션된 데이터 부족으로 인한 저자원 도메인 간 E2E-ABSA 문제 해결
• 이전 방법들이 도메인 정렬을 위해 고정된 문법 규칙이나 외부 파서에 의존하는 한계 극복
• 더 유용한 단어에 대한 동적 정렬 가중치를 학습함으로써 더 미세한 수준의 단어 수준 도메인 적응 구현
• 타겟 도메인에 레이블 데이터가 필요 없이도 더 나은 이식 성능를 달성하는 방법 개발
• 선택적 정렬이 순서 레이블링 작업을 위한 적대적 도메인 적응에서 필수적이고 효과적인지 입증

제안 방법

• 지역적, 전반적 요약 및 의견 단어 메모리 정보를 활용해 액서트와 의견 어휘 간 잠재 상관관계를 자동으로 추론하는 다단계 이중 메모리 상호작용(DMI) 메커니즘 제안
• 각 단어에 대한 동적 정렬 가중치를 학습하여 도메인 정렬 과정에서 중요한 단어를 우선순위로 지정하는 선택적 적대적 학습(SAL) 프레임워크 설계
• 특징 표현을 소스 도메인과 타겟 도메인 간에 정렬하기 위해 적대적 학습을 사용하며, 정렬 가중치는 단어 수준 중요도를 결정하는 학습 가능한 선택기 역할을 한다.
• DMI와 SAL 구성 요소를 통합하여 통합 태깅 체계 하에 동시에 액서트 탐지와 감성 분류를 수행하는 엔드 투 엔드 모델 구축
• 소스 도메인의 지도 학습 손실과 타겟 도메인의 적대적 도메인 적응 손실을 조합하여 모델 학습
• 어텐션 메커니즘을 활용해 SAL이 액서트 어휘에 집중하고 있음을 시각화하고 검증함으로써 정렬 및 예측 정확도 향상

실험 결과

연구 질문

• RQ1 비지도 도메인 적응이 엔드 투 엔드 분할 기반 감성 분석에 효과적으로 적용되어 새로운 도메인에서 레이블 데이터 의존도를 줄일 수 있는가?
• RQ2 외부 언어 자원이나 고정된 문법 규칙에 의존하지 않고도 단어 수준에서 도메인 정렬을 어떻게 향상시킬 수 있는가?
• RQ3 개별 단어에 대한 정렬 가중치를 동적으로 학습하는 것이 균일한 적대적 정렬보다 더 나은 이식 성능로 이어지는가?
• RQ4 선택적 정렬은 도메인 적응 과정에서 정보가 없는 단어에서 유발되는 노이즈를 어느 정도 줄이는가?
• RQ5 제안된 방법은 다양한 도메인 간 일반화가 가능하며, 기존 사전 최고 성능 방법보다 도메인 간 E2E-ABSA에서 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 SAL 방법은 네 개의 벤치마크 데이터셋에서 사전 최고 성능의 미세한 수준의 적응 방법보다 크게 뛰어난 성능을 보이며 뛰어난 이식성을 입증한다.
• 절단 실험 결과, 선택적 정렬이 성능 향상에 크게 기여함을 확인하였으며, 동적 가중치가 없는 모델은 정보가 없는 단어에서 유발되는 노이즈로 인해 성능 저하를 겪는다.
• 어텐션 가중치 시각화 결과, AD-SAL은 타겟 도메인에서 'bluetooth device', 'usb device'와 같은 완전한 액서트 어휘에 정확히 집중하는 반면, 균일한 정렬을 사용하는 모델는 그렇지 않다.
• DMI 메커니즘은 외부 언어 도구가 없이도 액서트어휘와 의견어휘 간 잠재 상관관계를 성공적으로 포착한다.
• 전체 모델(AD-SAL)은 모든 액서트 어휘를 정확히 식별하고 정확한 통합 태깅 예측을 수행하는 반면, 균일한 적대적 학습을 사용하는 베이스라인 모델은 완전한 액서트 구문에 주목하지 못한다.
• 타겟 도메인에 레이블 데이터가 전혀 없더라도 뛰어난 성능를 달성하여, E2E-ABSA에서 비지도 도메인 적응의 효과성을 입증한다.