[논문 리뷰] Learn from Syntax: Improving Pair-wise Aspect and Opinion Terms Extractionwith Rich Syntactic Knowledge

Shengqiong Wu, Hao Fei외 3명|arXiv (Cornell University)|2021. 05. 06.

Topic Modeling참고 문헌 27인용 수 8

한 줄 요약

이 논문은 레이블 인식 그래프 컨volution 네트워크(LAGCN)와 국소 주의 모듈을 통해 의존 관계 간선, 레이블, 품사 태그와 같은 풍부한 문법적 특징을 통합하여 쌍별 분석 및 의견 어휘 추출(PAOTE)을 위한 문법적 특징 강화 모델을 제안한다. 고차원 쌍화를 위한 Triaffine 스코어러와 문법적 인식 표현을 재사용하여 문법적 인식 스코어링을 구현함으로써, 네 가지 벤치마크 데이터셋에서 최신 기술(SOTA) 성능을 달성하면서도 명시적인 문법 모델링을 통해 예측의 해석 가능성을 보장한다.

ABSTRACT

In this paper, we propose to enhance the pair-wise aspect and opinion terms extraction (PAOTE) task by incorporating rich syntactic knowledge. We first build a syntax fusion encoder for encoding syntactic features, including a label-aware graph convolutional network (LAGCN) for modeling the dependency edges and labels, as well as the POS tags unifiedly, and a local-attention module encoding POS tags for better term boundary detection. During pairing, we then adopt Biaffine and Triaffine scoring for high-order aspect-opinion term pairing, in the meantime re-harnessing the syntax-enriched representations in LAGCN for syntactic-aware scoring. Experimental results on four benchmark datasets demonstrate that our model outperforms current state-of-the-art baselines, meanwhile yielding explainable predictions with syntactic knowledge.

연구 동기 및 목표

• 기존 PAOTE 모델이 의존 관계 레이블과 품사 태그와 같은 풍부한 문법적 특징을 간과하는 한계를 해결하기 위해.
• 국소 주의 모듈을 통해 품사 태그 특징을 모델링하여 어휘 경계 검출 성능을 향상시키기 위해.
• 일차 스코어링 방법에서 활용되지 못하는 장거리 문법적 의존성과 겹치는 쌍 구조를 포착하기 위해.
• Triaffine 스코어러를 통해 고차원 상호작용을 활용하고 문법적 강화 표현을 재사용하여 어휘 쌍화 성능을 향상시키기 위해.
• 언어학적 및 문법적 지식을 통합하여 더 정확하고 해석 가능한 분석-의견 쌍 예측을 도출하기 위해.

제안 방법

• 의존 관계 간선, 의존 관계 레이블, 품사 태그를 통합된 프레임워크에서 공동으로 모델링할 수 있는 레이블 인식 그래프 컨volution 네트워크(LAGCN)를 활용한 문법 융합 인코더(SynFue)를 제안한다.
• 국소 주의 모듈은 품사 태그를 인코딩하여 국소 문법적 맥락을 포착함으로써 어휘 경계 검출 성능을 향상시킨다.
• 고차원 분석-의견 쌍화를 위해 Triaffine 스코어러를 활용하여 삼중 관계와 겹치는 쌍의 내부 상호작용을 포착할 수 있도록 한다.
• 스코어링 단계에서 LAGCN로부터 확보한 문법적 강화 표현을 재사용하여 문법적 인식 기반의 어휘 쌍화를 실현함으로써 의미적 일치를 향상시킨다.
• 어휘 추출과 쌍화를 동시에 최적화하는 종합적 학습 프레임워크를 구현하며, 손실 함수는 어휘 추출 및 쌍화 모두에 최적화된다.
• 가중치 계수 η₁과 η₂와 같은 하이퍼파라미터는 Triaffine 스코어링 헤드와 문법적 인식 스코어링 헤드의 기여도를 균형 있게 조정하기 위해 튜닝된다.

실험 결과

연구 질문

• RQ1 의존 관계 레이블과 품사 태그를 통합된 문법 인코더에 통합함으로써 분석 및 의견 어휘 추출 정확도가 향상되는가?
• RQ2 국소 주의 모듈을 통해 품사 태그를 모델링하면 PAOTE에서 어휘 경계 검출에 어떤 영향을 미치는가?
• RQ3 Triaffine 메커니즘을 통한 고차원 스코어링이 분석-의견 쌍의 겹치는 쌍 구조와 상호 의존성의 어느 정도를 포착할 수 있는가?
• RQ4 LAGCN에서 확보한 문법적 강화 표현을 스코어링 단계에서 재사용하면 더 정확하고 해석 가능한 예측이 이루어지는가?
• RQ5 예를 들어 LAGCN의 층 수와 같은 다양한 아키텍처 선택이 모델 성능과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 모델은 네 가지 벤치마크 데이터셋에서 PAOTE 분야에서 최신 기술(SOTA) 성능을 달성하며, 현재의 SOTA 방법들을 능가한다.
• 최적의 설정은 η₁ = 0.4와 η₂ = 1.0을 사용하는 것으로, 이는 Triaffine 스코어러만으로는 부족하고 문법적 강화 표현이 더 큰 기여를 한다는 것을 시사한다.
• 두 층의 LAGCN이 최고의 성능을 보이며, 깊이가 더 깊어지면 중복 또는 과적합이 발생할 수 있음을 시사한다.
• 정성적 분석을 통해 LAGCN이 의존 관계 레이블(예: 'nsubj', 'conj')과 품사 태그(예: 'JJ', 'NN') 간 의미 있는 상관관계를 효과적으로 학습함을 확인하였으며, 언어학적 직관과 일치한다.
• Triaffine 스코어러를 통해 고차원 상호작용을 활용함으로써 겹치는 분석-의견 쌍을 더 잘 포착하는 성능 향상을 보였다.
• 풍부한 문법 지식 통합은 주의 가중치가 알려진 문법 패턴과 일치함을 입증함으로써 더 해석 가능한 예측을 이끌어냈다.