[논문 리뷰] Jointly Modeling Aspect and Sentiment with Dynamic Heterogeneous Graph Neural Networks

Shu Liu, Wei Li외 3명|arXiv (Cornell University)|2020. 04. 14.

Sentiment Analysis and Opinion Mining참고 문헌 33인용 수 7

한 줄 요약

이 논문은 목표 기반 감성 분석(TBSA)에서 문장의 어휘와 감성 레이블을 모두 그래프 내의 노드로 간주함으로써, 개별적인 요소 간의 명시적이고 반복적인 상호작용을 가능하게 하는 동적 이질적 그래프 신경망(DHGNN)을 제안한다. 이 모델은 벤치마크 데이터셋에서 성능을 향상시키며, 특히 다중 의견 또는 감성 없음(No-opinion)인 요소를 포함한 어려운 케이스에서 최신 기법들을 능가한다.

ABSTRACT

Target-Based Sentiment Analysis aims to detect the opinion aspects (aspect extraction) and the sentiment polarities (sentiment detection) towards them. Both the previous pipeline and integrated methods fail to precisely model the innate connection between these two objectives. In this paper, we propose a novel dynamic heterogeneous graph to jointly model the two objectives in an explicit way. Both the ordinary words and sentiment labels are treated as nodes in the heterogeneous graph, so that the aspect words can interact with the sentiment information. The graph is initialized with multiple types of dependencies, and dynamically modified during real-time prediction. Experiments on the benchmark datasets show that our model outperforms the state-of-the-art models. Further analysis demonstrates that our model obtains significant performance gain on the challenging instances under multiple-opinion aspects and no-opinion aspect situations.

연구 동기 및 목표

• 목표 기반 감성 분석(TBSA)에서 파ipeline 및 표면적인 동시 모델링 기법의 한계를 해결하기 위해, 오류 전파와 암묵적인 작업 간 상호작용 문제를 해결한다.
• 이질적 그래프 구조를 사용하여 요소 추출과 감성 분류 간의 동적 연결을 명시적으로 모델링한다.
• 감성 없음(No-opinion)인 요소나 복잡한 다중 의견 시나리오에서의 요소 탐지 성능을 향상시킨다.
• 구문적 및 위치적 간선을 사용하여 요소와 의견 어휘 간의 장거리 의존성을 포착한다.
• 예측 과정 중에 진화하는 해석 가능한 반복적 그래프 메커니즘을 제공하여 다중 작업 간 추론 능력을 향상시킨다.

제안 방법

• 일반적인 어휘와 감성 레이블을 서로 다른 노드 유형으로 간주하는 동적 이질적 그래프를 구성한다.
• 어휘 간 장거리 관계를 모델링하기 위해 구문적 및 위치적 의존성 기반으로 초기 그래프 간선을 형성한다.
• 추론 과정에서 높은 신뢰도를 가진 감성 예측 결과를 바탕으로 의견 어휘와 감성 노드 간에 동적으로 간선을 추가하며, 그래프를 반복적으로 갱신한다.
• 이질적 게이트형 그래프 신경망(HG-GNN)이 다양한 노드 및 간선 유형 간 메시지를 인코딩하며, 과도한 스무딩을 억제하기 위한 게이트 메커니즘을 사용한다.
• 여러 차례의 예측 반복 과정을 통해 그래프를 정교화하여, 후속 예측이 이전에 예측된 감성 정보를 참조할 수 있도록 한다.
• 요소 경계는 BIO 태깅을, 감성은 POS/NEG/NEU 레이블링을 사용하며, 두 작업 간 공동 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 동적 이질적 그래프가 TBSA에서 요소 추출과 감성 분류 간의 상호의존성을 명시적으로 모델링할 수 있는가?
• RQ2 구문적 및 위치적 의존성을 통합함으로써 장거리 요소-감성 정렬 성능가 향상되는가?
• RQ3 감성과 관련이 없는 실체(예: 'tech')를 효과적으로 탐지하고 제외할 수 있는가?
• RQ4 반복적 그래프 정교화 메커니즘이 다중 의견 요소를 포함한 복잡한 인스턴스에서 성능 향상에 기여하는가?
• RQ5 정적 또는 공유 레이어 기반 모델링 대비 동적 그래프 메커니즘이 해석 가능성과 정확도 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 모델은 세 개의 SemEval 벤치마크 데이터셋에서 최신 기법들을 능가하는 최상의 성능을 달성하며, 동일한 학습 데이터를 사용한 기존 기법들보다 뛰어난 성능을 보였다.
• 다중 의견 요소를 포함한 어려운 인스턴스에서 성능 향상이著명하게 향상되었으며, 갈등하는 감성 관계를 더 잘 모델링하는 것으로 나타났다.
• 예를 들어, 진정한 감성 타겟이 대명사('it')인 문장에서 'tech'와 같은 실체를 성공적으로 제외하여 부정확한 요소 예측을 방지하였다.
• 동적 그래프 메커니즋试로 후속 예측이 이전 감성 예측 결과를 기반으로 정보를 참조할 수 있게 되어, 복잡한 의존성 간 추론 능력이 향상되었다.
• 제거 실험 결과, 구문적/위치적 의존성 그래프와 동적 그래프 정교화 기법이 성능 향상에 기여하는 것으로 확인되었다.
• 외부 데이터를 다량으로 사용하는 모델들과 비교해도 경쟁적인 성능를 기록하여, 본 모델의 데이터 효율성이 뛰어나다는 점을 입증하였다.