[논문 리뷰] DigNet: Digging Clues from Local-Global Interactive Graph for Aspect-level Sentiment Classification

Bowen Xing, Ivor W. Tsang|arXiv (Cornell University)|2022. 01. 04.

Sentiment Analysis and Opinion Mining인용 수 7

한 줄 요약

이 논문은 로컬-글로벌 상호작용 그래프(LGIG)를 통해 국소적 문법적 정보와 전반적 관계적 정보를 통합하는 새로운 그래프 신경망인 DigNet을 제안한다. 이는 문법 그래프와 관계 그래프 간 상호 보완을 가능하게 하여 성능을 햖थ한다. 내부 및 교차 그래프 메시지 전파를 수행하는 로컬-글로벌 상호작용(LGI) 레이어를 스태킹함으로써 DigNet은 기존 방법보다 각각 Lap14, Res14, Res15에서 매크로-F1 기준 3.0%, 2.32%, 6.33% 향상된 새로운 최고 성능을 달성한다.

ABSTRACT

In aspect-level sentiment classification (ASC), state-of-the-art models encode either syntax graph or relation graph to capture the local syntactic information or global relational information. Despite the advantages of syntax and relation graphs, they have respective shortages which are neglected, limiting the representation power in the graph modeling process. To resolve their limitations, we design a novel local-global interactive graph, which marries their advantages by stitching the two graphs via interactive edges. To model this local-global interactive graph, we propose a novel neural network termed DigNet, whose core module is the stacked local-global interactive (LGI) layers performing two processes: intra-graph message passing and cross-graph message passing. In this way, the local syntactic and global relational information can be reconciled as a whole in understanding the aspect-level sentiment. Concretely, we design two variants of local-global interactive graphs with different kinds of interactive edges and three variants of LGI layers. We conduct experiments on several public benchmark datasets and the results show that we outperform previous best scores by 3\%, 2.32\%, and 6.33\% in terms of Macro-F1 on Lap14, Res14, and Res15 datasets, respectively, confirming the effectiveness and superiority of the proposed local-global interactive graph and DigNet.

연구 동기 및 목표

• 기존의 문법 그래프와 관계 그래프가 요소 수준 감성 분류(ASC)에서 가지는 한계를 해결하라. 즉, 문법 그래프는 요소 인식이 부족하고 메시지 소실 문제가 발생하며, 관계 그래프에서는 비요소 노드가 고립되어 국소적 단서를 포착하지 못한다.
• 문법 그래프나 관계 그래프를 별도로 사용할 경우 발생하는 단점을 극복하기 위해, 국소적 문법적 표현과 전반적 관계적 표현 간 상호 정보 교환을 가능하게 하는 하이브리드 그래프 구조를 설계하라.
• 내부 및 교차 그래프 메시지 전파를 수행하는 내부-외부 상호작용(LGI) 레이어를 스태킹한 새로운 신경망 아키텍처인 DigNet을 개발하라.
• 로컬-글로벌 상호작용 엣지들을 통해 문법과 관계 그래프의 상호보완적 강점을 통합함으로써, 요소 수준에서 더 견고하고 종합적인 감성 추론이 가능해지도록 하라.
• 다양한 공개 벤치마크 데이터셋에서 일관된 성능 향상을 보이며, 요소 수준 감성 분류의 새로운 최고 성능 기준을 설정하라.

제안 방법

• 의존성 파싱 기반 문법 그래프와 요소 중심의 관계 그래프(각 단어에서 요소로의 관계 레이블링된 엣지 포함)를 상호작용 엣지를 통해 융합하여 로컬-글로벌 상호작용 그래프(LGIG)를 구성하라.
• 핵심 구성 요소인 로컬-글로벌 상호작용(LGI) 레이어를 설계하여, 내부 그래프(문법 또는 관계 그래프 내부) 및 교차 그래프(문법 그래프와 관계 그래프의 대응 노드 간) 메시지 전파를 수행하라.
• 다양한 집계 메커니즘을 사용한 LGI 레이어의 세 가지 변종을 구현: 게이트드 리커런트 유닛(Gated), 멀티헤드 어텐션(MHA), 다층퍼셉트론(MLP)을 활용해 교차 그래프 상호작용을 모델링하라.
• 문법 그래프와 관계 그래프 양쪽에 위치지정 그래프 컨볼루션 네트워크(PW-GCN)를 적용하여, 다중 레이어의 국소적 메시지 전파를 통해 노드 표현을 정교화하라.
• 양 그래프의 최종 표현을 요소별 연결 및 피드포워드 네트워크를 통해 통합하여 최종 감성 예측을 도출하라.
• 조기 정지와 가중치 감소를 적용한 교차 엔트로피 손실을 사용하여, 무작위 초기화 및 다중 실행을 통해 안정성 평가를 수행하는 방식으로 모델을 종합적으로 훈련하라.

실험 결과

연구 질문

• RQ1 로컬-글로벌 상호작용 엣지를 통해 문법 그래프와 관계 그래프를 융합함으로써, 각각의 그래프가 가지는 본질적 한계를 완화할 수 있는가?
• RQ2 문법 그래프와 관계 그래프 간 교차 메시지 전파가, 감성 예측을 위한 국소적 문법적 단서와 전반적 관계적 단서를 동시에 포착하는 데 모델의 능력을 향상시키는가?
• RQ3 LGI 레이어의 수가 성능에 미치는 영향은 무엇이며, 정보 융합과 과적합의 균형을 고려할 때 최적의 깊이는 어느 정도인가?
• RQ4 PW-GCN 레이어의 수가 최종 성능에 미치는 영향은 무엇이며, 더 깊은 GCN 스타킹이 성능 향상에 기여하는가 아니면 성능 저하를 초래하는가?
• RQ5 제안된 로컬-글로벌 상호작용 그래프와 DigNet 아키텍처가 다양한 공개 벤치마크 데이터셋에서 기존의 최고 성능(SOTA) 방법을 일관되게 초월할 수 있는가?

주요 결과

• DigNet은 세 가지 공개 벤치마크에서 새로운 최고 성능을 달성하였으며, 이는 이전 최고 성능 모델 대비 각각 Lap14에서 매크로-F1 기준 3.0% 향상, Res14에서는 2.32%, Res15에서는 6.33% 향상된 결과를 보였다.
• Lap14와 Res14의 최적 LGI 레이어 수는 2~3개이며, Res15는 5개로, 깊이 있는 융합이 일정 수준까지 성능 향상에 기여하지만 이후 과적합 또는 정보 손실이 발생함을 시사한다.
• Lap14와 Res14에서는 PW-GCN 레이어 수가 2개일 때가 가장 우수했고, Res15에서는 3개일 때가 최적을 보였다. 이는 깊이가 증가함에 따라 파rameter 수와 학습 난이도가 증가하여 특정 깊이 이후 성능 향상이 멈추거나 저하됨을 의미한다.
• LGI 레이어의 교차 그래프 메시지 전파 메커니즘이 문법 그래프와 관계 그래프 간 효과적인 지식 전이를 가능하게 하여, 먼 거리의 요소 관련 단어나 고립된 의미 어구와 같은 누락된 단서를 복구할 수 있었다.
• 성능 향상의 주요 원인은 GCN의 수신 영역 확장 때문이 아니라, 두 그래프 간 상호보완적 상호작용 덕분임을 아블레이션 연구를 통해 확인하였다.
• LGI 레이어에서 Gated, MHA, MLP 변종을 사용한 결과 일관된 성능 향상이 관찰되었으며, DigNet-CgGate가 가장 뛰어난 성능을 기록하여 제안된 아키텍처 설계의 유효성을 입증하였다.