[논문 리뷰] Exploiting Coarse-to-Fine Task Transfer for Aspect-level Sentiment Classification

Zheng Li, Ying Wei외 4명|arXiv (Cornell University)|2018. 11. 16.

Sentiment Analysis and Opinion Mining참고 문헌 27인용 수 9

한 줄 요약

이 논문은 고자원 코arse-grained aspect category (AC-level) 작업에서의 지식을 활용하여 저자원 aspect-term (AT-level) 감성 분류 성능을 향상시키기 위해 다중 균질성 정렬 네트워크(MGAN)를 사용하는 코arse-to-fine 작업 전이 프레임워크를 제안한다. MGAN은 코arse-to-fine (C2F) 어텐션 메커니즘과 대비적 특징 정렬을 활용하여 균질성 및 도메인 격차를 해소하며, 대규모 YelpAspect 데이터셋을 사용하여 여러 도메인 간 AT-level 벤치마크에서 최신 기술 성능을 달성한다.

ABSTRACT

Aspect-level sentiment classification (ASC) aims at identifying sentiment polarities towards aspects in a sentence, where the aspect can behave as a general Aspect Category (AC) or a specific Aspect Term (AT). However, due to the especially expensive and labor-intensive labeling, existing public corpora in AT-level are all relatively small. Meanwhile, most of the previous methods rely on complicated structures with given scarce data, which largely limits the efficacy of the neural models. In this paper, we exploit a new direction named coarse-to-fine task transfer, which aims to leverage knowledge learned from a rich-resource source domain of the coarse-grained AC task, which is more easily accessible, to improve the learning in a low-resource target domain of the fine-grained AT task. To resolve both the aspect granularity inconsistency and feature mismatch between domains, we propose a Multi-Granularity Alignment Network (MGAN). In MGAN, a novel Coarse2Fine attention guided by an auxiliary task can help the AC task modeling at the same fine-grained level with the AT task. To alleviate the feature false alignment, a contrastive feature alignment method is adopted to align aspect-specific feature representations semantically. In addition, a large-scale multi-domain dataset for the AC task is provided. Empirically, extensive experiments demonstrate the effectiveness of the MGAN.

연구 동기 및 목표

• 세부적인 aspect-term (AT) 감성 분류에서 레이블이 부족한 문제를 해결하기 위해 더 풍부한 코arse-grained aspect-category (AC) 작업의 지식을 활용하고자 한다.
• AC와 AT 작업 간의 aspect 균질성 불일치 문제를 해결하고자 하며, 이는 AC가 위치 기반 정보를 결여하고 있기 때문이다.
• 원천(AC)과 타겟(AT) 도메인 간 도메인 이동 및 특징 분포 불일치 문제를 완화하고자 한다.
• 효율적인 도메인 간 및 균질성 간 지식 전이를 통해 저자원 환경에서의 모델 일반화 능력을 향상시키고자 한다.
• 향후 연구를 위해 대규모 다중 도메인 AC-level 벤치마크(YelpAspect)를 제공하고자 한다.

제안 방법

• 원천(AC) 및 타겟(AT) 도메인에서 aspect별 표현을 동시에 모델링하는 다중 균질성 정렬 네트워크(MGAN)를 제안한다.
• 코어스-투-파인(C2F) 어텐션 모듈을 도입하여 AC 작업이 문맥 내에서 해당 aspect term을 자동으로 국소화할 수 있도록 하여 균질성 격차를 감소시킨다.
• 추가 애너테이션 없이도 C2F 모듈을 훈련시키기 위해 보조 작업을 사용하며, 이는 코어스-투-파인 매핑을 엔드 투 엔드로 학습한다.
• 대비적 특징 정렬(CFA)을 적용하여 도메인 간 aspect별 특징을 의미적으로 정렬하며, 동일 클래스 샘플 간 유사도를 최대화하고, 다른 클래스 샘플 간 유사도를 최소화한다.
• 다중 aspect 문장에서 잘못된 정렬을 방지하기 위해 의미 정렬과 분리 기반의 포인트와이즈 서rogate 손실을 결합한다.
• 효율적인 사전 훈련 및 전이를 위해 도메인당 10만 건의 샘플을 포함하는 대규모 다중 도메인 AC-level 데이터셋(YelpAspect)을 구축한다.

실험 결과

연구 질문

• RQ1 고자원 코arse-grained aspect-category (AC) 작업의 지식이 저자원 세부 aspect-term (AT) 감성 분류 작업의 성능을 향상시킬 수 있는가?
• RQ2 모델이 서로 다른 균질성 수준을 가진 aspect category와 aspect term 간 격차를 효과적으로 해소할 수 있는가?
• RQ3 대비적 특징 정렬이 도메인 간 이동 및 잘못된 정렬 문제를 어느 정도 완화할 수 있는가?
• RQ4 제안된 C2F 어텐션 메커니즘이 aspect term 국소화 및 감성 관련 문맥을 포착하는 데 모델 성능을 향상시키는가?
• RQ5 제안된 MGAN 프레임워크는 레이블이 제한된 타겟 데이터로 다양한 도메인 간 일반화가 가능한가?

주요 결과

• MGAN은 여러 도메인 간 AT-level 벤치마크에서 최신 기술 성능을 달성하며, M-DAN 및 M-MMD와 같은 기존 방법 대비 평균 1.80% 높은 정확도와 1.90% 높은 Macro-F1을 기록한다.
• 제거 실험 결과, 의미 분리 손실을 제거한 경우(MGAN w/o SS) 정확도가 0.81% 감소하고 Macro-F1이 1.00% 감소함으로써, 서로 다른 감성 클래스를 구분하는 데의 중요성을 입증한다.
• C2F 어텐션 모듈은 주로 국소화 성능을 크게 향상시킨다: 어려운 케이스에서 MGAN은 'cuisine'에 대해 'italian place'와 같이 감성 관련 어휘를 올바르게 식별하는 반면, 기준 모델은 실패한다.
• 시각화 결과 C2F 어텐션은 'food seafood sea'에 대해 'shells'와 같은 타겟 작업 의미와 일치하는 기저 aspect term을 성공적으로 포착함을 확인한다.
• H→T 전이 작업에서 76.93%의 정확도와 76.12%의 Macro-F1을 달성하여 도메인 간 강력한 일반화 능력을 입증한다.
• 대규모 YelpAspect 데이터셋(도메인당 10만 건)은 효과적인 원천 도메인으로서 기능하며, 저자원 환경에서 강력한 전이 성능을 가능하게 한다.