[논문 리뷰] From the Token to the Review: A Hierarchical Multimodal approach to Opinion Mining

Alexandre Garcia, Pierre Colombo외 3명|arXiv (Cornell University)|2019. 08. 29.

Topic Modeling참고 문헌 40인용 수 11

한 줄 요약

이 논문은 토큰, 문장, 텍스트 수준에서 감성 극성 및 대상과 같은 미세한 의견 구성요소를 공동으로 예측하는 계층적 다중모odal 신경망을 제안한다. 이는 다양한 해상도 간 공유 표현을 활용하여 구현된다. 모델는 난이도가 낮고 하위 수준인 작업부터 우선적으로 학습하는 커리큘럼 학습 전략을 사용함으로써 새로 공개된 다중모달 의견 마이닝 코퍼스에서 최신 기술 성능을 달성한다. 이는 노이즈가 많고 즉흥적인 구두 언어 데이터에 대해 뚜렷한 강건성을 향상시킨다.

ABSTRACT

The task of predicting fine grained user opinion based on spontaneous spoken language is a key problem arising in the development of Computational Agents as well as in the development of social network based opinion miners. Unfortunately, gathering reliable data on which a model can be trained is notoriously difficult and existing works rely only on coarsely labeled opinions. In this work we aim at bridging the gap separating fine grained opinion models already developed for written language and coarse grained models developed for spontaneous multimodal opinion mining. We take advantage of the implicit hierarchical structure of opinions to build a joint fine and coarse grained opinion model that exploits different views of the opinion expression. The resulting model shares some properties with attention-based models and is shown to provide competitive results on a recently released multimodal fine grained annotated corpus.

연구 동기 및 목표

• 서면 텍스트에서의 미세한 의견 모델링과 즉흥적인 다중모달 말하기 언어에서의 거시적 모델링 간 격차를 메우기 위해.
• 말하기 언어에서 신뢰할 수 없는 미세한 애너테이션 문제를 계층적이고 다중 해상도 감독을 통해 해결하기 위해.
• 다양한 의견 구성요소를 공동으로 모델링하여 자원이 적고 노이즈가 많은 말하기 언어 환경에서의 의견 예측 성능을 향상시키기 위해.
• 더 쉬운 하위 수준 작업부터 더 어려운 추상적 수준 작업으로 진행되는 커리큘럼 학습 전략이 다중모달 의견 마이닝에서 성능 향상에 기여하는지 조사하기 위해.
• 감성 극성과 의견 대상의 공동 예측이 오류 전파를 줄이고 일반화 성능을 향상시키는 데 효과적인지 평가하기 위해.

제안 방법

• 모델는 텍스트, 음성, 영상 등의 다중모달 입력을 토큰, 문장, 리뷰 수준에서 처리하는 계층적 신경망 아키텍처를 사용한다.
• 커리큘럼 학습 전략을 적용하여 먼저 토큰 수준의 감성 극성 예측, 그 다음 문장 수준, 마지막으로 리뷰 수준의 작업을 순차적으로 학습함으로써 일반화 성능을 향상시킨다.
• 다양한 목적함수를 적응형 손실 가중치를 사용해 공동 최적화하며, 검증을 통해 초모수를 조정하여 각 작업의 중요도를 균형 잡는다.
• 모델는 수준 간 공유 표현을 활용하여 하위 수준에서 상위 수준 예측으로 지식 전이를 가능하게 한다.
• 의미 있는 언어적 및 다중모달 신호에 집중하기 위해 어텐션 메커니즘을 통합하여 설명 가능성과 성능을 향상시킨다.
• 분류 작업과 회귀 작업에 각각 교차 엔트로피 손실과 평균 절대 오차(MAE) 손실을 조합하여 엔드 투 엔드로 모델을 학습시킨다.

실험 결과

연구 질문

• RQ1 제한된 미세한 애너테이션을 가진 다중모달 말하기 언어 환경에서 계층적이고 다중 해상도 접근 방식이 의견 마이닝 성능을 향상시킬 수 있는가?
• RQ2 더 쉬운 하위 수준 작업부터 더 어려운 상위 수준 작업으로 진행되는 커리큘럼 학습 전략이 표준 공동 학습보다 더 나은 성능을 내는가?
• RQ3 감성 극성과 의견 대상의 공동 예측이 독립적 예측에 비해 모델의 강건성과 정확도를 어느 정도 향상시키는가?
• RQ4 다양한 목적함수 간 적응형 손실 가중치가 다중모달 의견 마이닝에서 수렴성과 성능에 어떤 영향을 미치는가?
• RQ5 어텐션 메커니즘이 자원이 적고 노이즈가 많은 말하기 언어 환경에서의 의견 마이닝에서 설명 가능성과 성능을 향상시킬 수 있는가?

주요 결과

• 최적의 손실 가중치 전략을 사용하여 리뷰 수준에서 MAE 점수 0.14를 달성하여 베이스라인을 초월했다.
• 손실 가중치의 부드러운 전이 경로(S1 및 S2)를 가진 커리큘럼 학습 전략이 갑작스러운 전이보다 더 좋은 성능을 냈으며, S1이 가장 뛰어난 성능을 기록했다.
• 엔티티와 극성의 공동 예측은 대부분의 엔티티 카테고리에서 F1 점수를 향상시켰으며, '전반적'과 '각본' 엔티티에서 각각 5%의 상대적 향상이 있었다.
• 대부분의 카테고리에서 극성 감독이 엔티티 예측 성능에 기여했으나, '시각적 효과 및 특수 효과'에서는 성능이 약간 감소했다.
• 토큰 수준에서 극성 예측의 F1 점수는 0.93, 문장 수준에서는 0.75를 기록하여 감성 분류에서 뛰어난 성능을 보였다.
• 최적의 손실 가중치는 (λ_token = 0.05, λ_sentence = 0.5, λ_text = 1)로 확인되어 텍스트 수준 감독이 최종 성능에 가장 중요하다는 것을 시사했다.