[논문 리뷰] Conditional Augmentation for Aspect Term Extraction via Masked Sequence-to-Sequence Generation

Kun Li, Chengbo Chen외 3명|arXiv (Cornell University)|2020. 04. 30.

Sentiment Analysis and Opinion Mining참고 문헌 34인용 수 4

한 줄 요약

이 논문은 마스크된 시퀀스-투-시퀀스 생성을 사용하여 액서트 터미널 추출을 위한 제어 가능한 데이터 증강 방법을 제안한다. 여기서 모델은 원본 액서트 레이블을 유지하면서 리뷰 문장의 마스크된 세그먼트를 재구성한다. 이 방법은 다양한, 유창하며 레이블 일관성을 유지하는 훈련 예제를 생성함으로써 저자원 ATE 벤치마크에서 모델 성능을 크게 향상시킨다.

ABSTRACT

Aspect term extraction aims to extract aspect terms from review texts as opinion targets for sentiment analysis. One of the big challenges with this task is the lack of sufficient annotated data. While data augmentation is potentially an effective technique to address the above issue, it is uncontrollable as it may change aspect words and aspect labels unexpectedly. In this paper, we formulate the data augmentation as a conditional generation task: generating a new sentence while preserving the original opinion targets and labels. We propose a masked sequence-to-sequence method for conditional augmentation of aspect term extraction. Unlike existing augmentation approaches, ours is controllable and allows us to generate more diversified sentences. Experimental results confirm that our method alleviates the data scarcity problem significantly. It also effectively boosts the performances of several current models for aspect term extraction.

연구 동기 및 목표

• 저자원 환경에서 액서트 터미널 추출(ATE)의 데이터 부족 문제를 해결하기 위해 제어 가능한 데이터 증강 기법을 개발한다.
• 생성된 문장이 원본 액서트 터미널 레이블을 유지하고, 원래의 의견 대상이 유효한 액서트 터미널로 남아 있도록 보장한다.
• GAN, VAE, 단어 교체와 같은 기존 방법의 한계를 극복하기 위해 더 다양한 문장 생성과 더불어 문맥에 부합하는 생성을 가능하게 한다.
• 조건부 생성을 통해 마스크된 시퀀스-투-시퀀스 모델링이 BERT나 GPT-2와 같은 대안적 언어 모델보다 이 특정 증강 작업에서 더 우수한 성능을 보임을 입증한다.
• 이 프레임워크를 액서트 터미널 추출을 넘어서 저자원 시퀀스 레이블링 작업, 예를 들어 명명된 실체 인식 및 쿍킹과 같은 다른 작업에 적용 가능하게 한다.

제안 방법

• 모델이 부분적으로 마스크된 입력과 해당 레이블 시퀀스를 기반으로 전체 문장을 생성하는 조건부 시퀀스-투-시퀀스 생성 작업으로 데이터 증강을 공식화한다.
• MASS와 유사한 마스크된 시퀀스-투-시퀀스 사전학습을 사용한 트랜스포머 기반 인코더-디코더 아키텍처를 사용하여 문맥 인식과 레이블 조건부 생성을 가능하게 한다.
• 입력 문장에서 연속적인 여러 토큰을 마스크하고, 모델이 맥락과 레이블 시퀀스를 조건 신호로 사용하여 마스크된 구간을 재구성하도록 훈련한다.
• 레이블 정보를 인코더 입력에 통합하여 생성된 문장에서 액서트 터미널이 유효한 의견 대상으로 유지되도록 보장한다.
• 재구성 작업에 표준 크로스 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련함으로써 다각적이고 자연스러운 문장을 자동으로 생성할 수 있도록 한다.
• 제안된 방법을 단어 교체 기반 증강(WordNet 동의어 사용) 및 미세조정된 BERT/GPT-2 변종과 비교하여, 자연스러움, 다양성, 레이블 일관성 측면에서의 우수성을 검증한다.

실험 결과

연구 질문

• RQ1 마스크된 시퀀스-투-시퀀스 생성이 액서트 터미널 추출을 위한 데이터 증강에 있어 다양한, 자연스럽고 레이블 일관성을 유지하는 문장을 효과적으로 생성할 수 있는가?
• RQ2 제안된 방법은 GAN, VAE, 단어 교체 기반 접근법과 비교해 액서트 터미널 레이블을 유지하고 문장의 통일성을 유지하는 데 얼마나 효과적인가?
• RQ3 왜 제안된 마스크된 시퀀스-투-시퀀스 학습을 통한 인코더-디코더 프레임워크가 이 조건부 생성 작업에서 BERT나 GPT-2보다 우수한가?
• RQ4 이 제안된 증강 기법이 저자원 데이터셋에서의 후속 ATE 모델의 성능을 어느 정도 향상시키는가?
• RQ5 이 프레임워크는 액서트 터미널 추출을 넘어서 다른 저자원 시퀀스 레이블링 작업으로 일반화될 수 있는가?

주요 결과

• 제안된 방법은 두 개의 벤치마크 ATE 데이터셋에서 더 다양한, 레이블 일관성을 유지하는 훈련 예제를 생성함으로써 F1 점수를 크게 향상시켰다.
• 단어 교체 기반 방법보다 더 높은 자연스러움과 BLEU 점수를 기록했으며, 이는 동의어 가용성과 맥락에 무관한 단어 교체로 인해 제한되기 때문이다.
• GPT-2는 인코더가 없어 제어 불가능한 생성을 하여 레이블 시퀀스와 일치하지 못해 성능이 열악했다.
• BERT는 독립적인 토큰 재구성 가정을 통해 문맥이 어긋나는 시퀀스를 생성하여 제안된 방법보다 성능이 열 劣했다.
• 정성적 분석을 통해 방법이 의미적으로 다양하고 맥락에 부합하는 문장을 생성함과 동시에 액서트 터미널을 의견 대상으로 유지함을 확인했다.
• 이 프레임워크는 액서트 터미널 추출을 넘어서 명명된 실체 인식 및 쿤킹과 같은 다른 저자원 시퀀스 레이블링 작업에도 이식 가능하고 효과적이다.