[논문 리뷰] An Iterative Knowledge Transfer Network with Routing for Aspect-based Sentiment Analysis

Yunlong Liang, Fandong Meng외 4명|arXiv (Cornell University)|2020. 04. 04.

Sentiment Analysis and Opinion Mining참고 문헌 21인용 수 9

한 줄 요약

이 논문은 종단간 분류 기반 감성 분석을 위한 반복 지식 전이 네트워크(IKTN)를 제안하며, 작업별 지식을 반복적으로 전이하는 라우팅 메커니즘을 활용하여 개별 어휘 항목 추출, 의견 어휘 항목 추출, 감성 분류 간의 상호의존성을 활용한다. 동시에 문서 수준의 언어 지식을 선택적으로 전이한다. 이 방법은 하위 작업 간의 의미적 상호의존성과 특징 지능형 지식 전이를 활용하여 세 가지 벤치마크 데이터셋에서 최신 기술보다 뚜렷이 뛰어난 성능을 발휘한다.

ABSTRACT

Aspect-based sentiment analysis (ABSA) mainly involves three subtasks: aspect term extraction, opinion term extraction and aspect-level sentiment classification, which are typically handled separately or (partially) jointly. However, the semantic interrelationships among all the three subtasks are not well exploited in previous approaches, which restricts their performance. Additionally, the linguistic knowledge from document-level labeled sentiment corpora is usually used in a coarse way for the ABSA. To address these issues, we propose a novel Iterative Knowledge Transfer Network (IKTN) for the end-to-end ABSA. For one thing, to fully exploit the semantic correlations among the three aspect-level subtasks for mutual promotion, the IKTN transfers the task-specific knowledge from any two of the three subtasks to another one by leveraging a specially-designed routing algorithm, that is, any two of the three subtasks will help the third one. Besides, the IKTN discriminately transfers the document-level linguistic knowledge, i.e., domain-specific and sentiment-related knowledge, to the aspect-level subtasks to benefit the corresponding ones. Experimental results on three benchmark datasets demonstrate the effectiveness of our approach, which significantly outperforms existing state-of-the-art methods.

연구 동기 및 목표

• 분류 기반 감성 분석의 세 핵심 하위 작업인 개별 어휘 항목 추출, 의견 어휘 항목 추출, 개별 수준 감성 분류 간의 의미적 상호관계가 제한적으로 활용되고 있는 문제를 해결하기 위해.
• 특히 도메인 특화 및 감성 관련 지식을 포함한 문서 수준 언어 지식을 개별 수준 하위 작업에 선택적으로 전이함으로써 그 활용도를 향상시키기 위해.
• 세 하위 작업 간 상호 촉진을 통해 반복 지식 전이를 통해 통합적이고 종단간 프레임워크를 개발하기 위해.
• 이전 방법에서의 거친 또는 정적 지식 통합 방식이 성능 향상에 제한을 둔다는 점을 해결하기 위해.

제안 방법

• IKTN은 세 하위 작업 간 이중 및 반복 지식 전이를 가능하게 하는 특수 설계된 라우팅 알고리즘을 사용하여, 어떤 두 하위 작업도 작업별 지식을 통해 나머지 하나를 안내할 수 있도록 한다.
• 라우팅 메커니즘은 동적으로 관련 지식을 두 하위 작업에서 나머지 하나로 식별하고 전이함으로써 상호 학습과 의미적 정렬을 촉진한다.
• 문서 수준 언어 지식은 관련성에 따라 선택적으로 개별 수준 하위 작업으로 전이되며, 특히 도메인 특화 및 감성 관련 특징에 중점을 둔다.
• 모델은 종단간으로 훈련되어 세 하위 작업을 하나의 신경망 아키텍처 안에 통합함으로써 공동 최적화와 맥락 일관성을 보장한다.
• 지식 전이는 반복적으로 수행되어, 다중 라운드 피드백을 통해 하위 작업 간 예측을 개선하는 데 기여한다.
• 주의 메커니즘과 시퀀스 모델링을 활용하여 장거리 의존성을 유지하고 표현 품질을 향상시킨다.

실험 결과

연구 질문

• RQ1 개별 어휘 항목 추출, 의견 어휘 항목 추출, 감성 분류 간의 의미적 상호의존성을 효과적으로 활용하여 종합적인 ABSA 성능을 향상시킬 수 있는가?
• RQ2 하위 작업 간 반복적이고 이중적인 지식 전이가 분류 기반 감성 분석의 정확도와 견고성에 어떤 영향을 미치는가?
• RQ3 특히 감성 관련 및 도메인 특화 지식을 포함한 문서 수준 언어 지식을 선택적으로 전이하면 개별 수준 하위 작업 성능이 향상되는가?
• RQ4 제안된 IKTN이 ABSA 표준 벤치마크 데이터셋에서 기존 최신 기술보다 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• IKTN은 분류 기반 감성 분석을 위한 세 벤치마크 데이터셋에서 기존 최신 기술보다 뚜렷이 뛰어난 성능을 발휘한다.
• 반복 지식 전이 메커니즘은 개별 어휘 항목 추출, 의견 어휘 항목 추출, 감성 분류의 세 하위 작업 전반에 걸쳐 일관된 성능 향상을 이끌어낸다.
• 문서 수준 언어 지식의 선택적 전이는 개별 수준에서 감성 관련 및 도메인 특화 패턴을 포착하는 데 모델의 능력을 향상시킨다.
• 라우팅 기반 지식 전이 전략은 하위 작업 간 의미적 상관관계를 효과적으로 포착하고 활용하여 상호 촉진과 향상된 일반화 능력을 가능하게 한다.
• 반복 보완을 포함한 종단간 훈련 프레임워크는 하위 작업을 별도로 처리하거나 정적 지식 통합을 사용하는 모델보다 뛰어난 결과를 달성한다.
• 실증 결과는 제안된 방법이 최신 기술 수준의 성능을 달성하며, 지식 전이 및 라우팅 메커니즘의 효과성을 입증한다.