[논문 리뷰] Improving Aspect Term Extraction with Bidirectional Dependency Tree Representation

Huaishao Luo, Tianrui Li외 3명|arXiv (Cornell University)|2018. 05. 21.

Sentiment Analysis and Opinion Mining참고 문헌 63인용 수 11

한 줄 요약

이 논문은 양방향 의존성 트리 표현을 모델링하여 하향식과 상향식 문법적 전파를 모두 포착하는 BiDTreeCRF를 제안한다. 이는 BiLSTM와 CRF를 결합하여 순차적이고 트리 구조의 특징을 공동으로 학습하는 엔드 투 엔드 딥 러닝 프레임워크이다. 수작업로 생성된 언어학적 특징 없이도 네 개의 SemEval 벤치마크 데이터셋에서 최고 성능을 달성한다.

ABSTRACT

Aspect term extraction is one of the important subtasks in aspect-based sentiment analysis. Previous studies have shown that using dependency tree structure representation is promising for this task. However, most dependency tree structures involve only one directional propagation on the dependency tree. In this paper, we first propose a novel bidirectional dependency tree network to extract dependency structure features from the given sentences. The key idea is to explicitly incorporate both representations gained separately from the bottom-up and top-down propagation on the given dependency syntactic tree. An end-to-end framework is then developed to integrate the embedded representations and BiLSTM plus CRF to learn both tree-structured and sequential features to solve the aspect term extraction problem. Experimental results demonstrate that the proposed model outperforms state-of-the-art baseline models on four benchmark SemEval datasets.

연구 동기 및 목표

• 기존 특성어 추출 모델에서 단방향 의존성 트리 전파의 한계를 해결하기 위해.
• 의존성 트리 내에서 하향식과 상향식 의존 경로 정보를 명시적으로 모델링하여 문법적 특징 표현을 향상시키기 위해.
• 수작업 언어학적 특징에 의존하지 않고 트리 구조와 순차적 특징을 융합하는 엔드 투 엔드 프레임워크를 개발하기 위해.
• 딥 시퀀셜 모델링과 함께 양방향 문법 정보를 통합하여 특성어 추출 벤치마크에서 뛰어난 성능을 달성하기 위해.

제안 방법

• BiLSTM에 영감을 받은 게이트 제어 메커니즘을 사용하여 의존성 트리에서 별도의 하향식과 상향식 전파를 수행하는 양방향 의존성 트리 네트워크(BiDTree)를 제안한다.
• 공유된 단어 임베딩을 사용하고, 이중 경로 전파를 통해 트리 구조의 표현을 학습하여 장거리 문법적 종속성을 포착한다.
• 얻어진 트리 구조 표현을 BiLSTM에서 유도된 순차적 표현과 융합하여 맥락적 특징을 풍부하게 한다.
• 융합된 표현 위에 CRF 레이어를 적용하여 레이블 간 종속성을 모델링하고 특성어 추출을 위한 시퀀스 레이블링을 수행한다.
• 단어 임베딩, 트리 표현, CRF 디코딩을 동시에 최적화하는 엔드 투 엔드 학습 프레임워크를 설계하여 외부 언어학적 특징을 필요로 하지 않는다.
• 하향식과 상향식 경로 간 가중치 공유 방식이 다른 세 가지 모델 변형을 평가하여 양방향 모델링의 효과를 입증한다.

실험 결과

연구 질문

• RQ1 단방향 방법에 비해 양방향 의존성 트리 전파가 특성어 추출 성능을 향상시키는가?
• RQ2 트리 구조의 문법적 특징과 순차적 표현을 융합할 경우 ATE 성능에 어떤 영향을 미치는가?
• RQ3 제안된 엔드 투 엔드 모델이 벤치마크 데이터셋에서 기존 최고 성능 모델을 얼마나 뛰어나게 하는가?
• RQ4 POS나 의존성 경로 템플릿과 같은 수작업 언어학적 특징 없이도 모델이 뛰어난 성능을 유지하는가?

주요 결과

• 제안된 BiDTreeCRF 모델은 특성어 추출을 위한 네 개의 SemEval 벤치마크 데이터셋에서 최고 성능을 달성한다.
• 하향식과 상향식 경로에 대해 별도의 가중치 학습을 수행하는 변형이 가장 높은 성능을 보이며, 이는 양방향 모델링이 상호보완적인 문법 정보를 포착함을 시사한다.
• 수작업 특징 또는 이중 단계 학습 파이프라인을 사용하는 기존 최고 성능 모델들보다도 모델이 뛰어난 성능을 보인다.
• 제거 실험 결과는 하향식과 상향식 전파가 모두 모델 성능에 기여함을 확인하여 양방향 설계의 타당성을 입증한다.
• 추가 언어학적 특징 없이도 효과적이므로, 학습된 문법적 표현의 강건성을 보여준다.
• BiLSTM와 CRF를 통한 트리 구조적 표현과 순차적 표현의 융합은 단독으로 사용할 경우보다 더 높은 레이블 정확도를 달성한다.