[논문 리뷰] Graph Ensemble Learning over Multiple Dependency Trees for Aspect-level Sentiment Classification

Xiaochen Hou, Peng Qi외 5명|arXiv (Cornell University)|2021. 03. 12.

Sentiment Analysis and Opinion Mining참고 문헌 25인용 수 4

한 줄 요약

이 논문은 문법적 분석기로부터 유도된 의존성 트리를 하나의 통합된 그래프로 통합한 후 그래프 신경망(GNN)을 적용하여 개별 수준의 감성 분류를 수행하는 GraphMerge라는 그래프 앙상블 기법을 제안한다. 다양한 분석기에서 유도된 간선을 집계함으로써 GraphMerge는 분석 오류에 대한 강건성을 향상시키고 모델의 일반화 능력을 향상시키며, 추가 파rameter나 계산 비용 없이도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent work on aspect-level sentiment classification has demonstrated the efficacy of incorporating syntactic structures such as dependency trees with graph neural networks(GNN), but these approaches are usually vulnerable to parsing errors. To better leverage syntactic information in the face of unavoidable errors, we propose a simple yet effective graph ensemble technique, GraphMerge, to make use of the predictions from differ-ent parsers. Instead of assigning one set of model parameters to each dependency tree, we first combine the dependency relations from different parses before applying GNNs over the resulting graph. This allows GNN mod-els to be robust to parse errors at no additional computational cost, and helps avoid overparameterization and overfitting from GNN layer stacking by introducing more connectivity into the ensemble graph. Our experiments on the SemEval 2014 Task 4 and ACL 14 Twitter datasets show that our GraphMerge model not only outperforms models with single dependency tree, but also beats other ensemble mod-els without adding model parameters.

연구 동기 및 목표

• 의존성 기반 감성 모델이 문법적 구조에서 분석 오류에 취약한 점을 해결하기 위해.
• 모델 파라미터나 계산 비용을 증가시키지 않고도 모델의 강건성을 향상시키기 위해.
• 다양한 분석기로부터 유도된 다양한 분석 가설을 활용하여 GNN의 일반화 능력을 향상시키기 위해.
• 간선 앙샘블을 통해 그래프 지름을 단축시켜 GNN에서의 과적합 및 과매끄러움을 줄이기 위해.
• 단일 분석기 모델과 전통적인 앙샘블 방법보다도 개별 수준의 감성 분류에서 뛰어난 성능을 내기 위해.

제안 방법

• 다양한 분석기에서 유도된 의존성 간선의 합집합을 통해 앙상블 그래프를 구성하여 가설 간의 문법적 구조를 유지한다.
• 부모에서 자식으로, 자식에서 부모로의 간선에 대해 별도의 임bedding을 사용하여 관계 기반 그래프 주의망(RGAT)을 적용한다.
• 통합된 그래프를 GNN의 입력으로 사용하여, 모델이 다수의 분석 소스로부터 신뢰할 수 있는 간선을 우선순위로 학습하도록 한다.
• 각 분석 트리에 대해 별도의 GNN을 사용하는 것을 피하고 연결성 증가를 통해 그래프 지름을 줄임으로써 과다 파rameter화를 방지한다.
• 방향성 있는 의존성 관계를 구분할 수 있는 관계 기반 주의 메커니즘을 사용하여 문법적 관계를 인코딩한다.
• 표준 벤치마크 데이터셋을 사용하여 교차 엔트로피 손실을 기반으로 엔드 투 엔드로 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 다수의 의존성 분석 결과를 하나의 그래프로 통합하는 것이 개별 수준의 감성 분류에서 분석 오류에 대한 강건성을 향상시키는가?
• RQ2 간선의 합집합을 통한 다수의 분석 가설 앙샘블이 단일 분석 트리 사용보다 더 높은 성능을 내는가?
• RQ3 GraphMerge가 추가 파rameter나 계산 비용 없이 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 GraphMerge는 스택형 GNN 레이어와 비교해 복수의 GNN 레이어에 비해 과적합 및 과매끄러움을 얼마나 줄이는가?
• RQ5 개별 분석기가 실패할 경우에도 앙샘블 그래프가 정확한 문법적 관계를 포착하는 데 모델의 능력을 어떻게 향상시키는가?

주요 결과

• SemEval 2014 레스토랑 및 랩탑 데이터셋에서 GraphMerge는 14Rest에서 85.16%의 정확도, 14Lap에서 80.0%의 정확도로 최신 기술 수준의 성능을 달성했다.
• ARTS 벤치마크에서 GraphMerge는 14Rest에서 Aspect Robustness Score(ARS) 57.46, 14Lap에서 52.90을 기록하여 모든 단일 분석기 모델과 BERT를 초월했다.
• 앙샘블 그래프에서 개별 어휘의 평균 거리가 최대 2단계 이내로 단축되어 메시지 전파 효율성이 향상되었다.
• 단일 분석기에서 정확히 예측하지 못하는 어려운 케이스에서도 Gold-standard 의존성 간선의 재현율이 향상되었다.
• BERT 및 단일 분석기 RGAT 모델보다 강건성이 뛰어나 14Rest에서 ARS 27.70점, 14Lap에서 27.10점을 기록하여 편향에 대한 일반화 능력이 뛰어나다.
• 그래프 지름을 줄이고 GNN 깊이를 제한함으로써 과적합 및 과매끄러움을 방지하여 기준 모델보다 적은 레이어 수로도 성능을 달성했다.