[논문 리뷰] Select-Additive Learning: Improving Cross-individual Generalization in Multimodal Sentiment Analysis.

Haohan Wang, Aaksha Meghawat외 2명|arXiv (Cornell University)|2016. 09. 16.

Sentiment Analysis and Opinion Mining참고 문헌 21인용 수 28

한 줄 요약

이 논문은 다중모odal 감성 분석에서 개인별 특성에 의한 과적합을 줄이고 교차 개인 일반화를 향상시키기 위해 혼란 요인 표현을 선택하고, 이를 제거하기 위해 가우시안 노이즈를 추가하는 두 단계 방법인 Select-Additive Learning (SAL)을 제안한다. SAL은 텍스트, 음성, 영상 및 그 융합에 걸쳐 정확도를 향상시키며, 모델이 한 데이터셋에서 훈련되고 다른 데이터셋에서 테스트될 때에도 효과를 발휘한다.

ABSTRACT

Multimodal sentiment analysis is drawing an increasing amount of attention these days. It enables mining of opinions in video reviews and surveys which are now available aplenty on online platforms like YouTube. However, the limited number of high-quality multimodal sentiment data samples may introduce the problem of the sentiment being dependent on the individual specific features in the dataset. This results in a lack of generalizability of the trained models for classification on larger online platforms. In this paper, we first examine the data and verify the existence of this dependence problem. Then we propose a Select-Additive Learning (SAL) procedure that improves the generalizability of trained discriminative neural networks. SAL is a two-phase learning method. In Selection phase, it selects the confounding learned representation. In Addition phase, it forces the classifier to discard confounded representations by adding Gaussian noise. In our experiments, we show how SAL improves the generalizability of state-of-the-art models. We increase prediction accuracy significantly in all three modalities (text, audio, video), as well as in their fusion. We show how SAL, even when trained on one dataset, achieves good accuracy across test datasets.

연구 동기 및 목표

• 다중모달 감성 데이터셋에서 개인 특성에 기반한 과적합 문제를 해결한다.
• 다양한 사용자 인구통계적 특성을 지닌 온라인 플랫폼 간에 분류 성능의 일반화 능력을 향상시킨다.
• 특수한 개인 특성에 의존하는 것을 줄이고, 모odal별 감성 정보를 유지하면서 훈련 절차를 개선한다.
• 새로운 데이터셋에서 다른 화자 특성을 지닌 경우에도 최신 기술 모델이 높은 성능을 유지할 수 있도록 한다.

제안 방법

• 선택 단계에서 SAL은 신경망 내에서 개인 특성에 의해 혼란스러운 표현을 식별하고 분리한다.
• 추가 단계에서 선택된 혼란스러운 표현에 가우시안 노이즈를 주입하여 분류기가 이를 의존하지 않도록 한다.
• 이 방법은 두 단계 훈련 절차로 구성되며, 먼저 문제 있는 특징을 선택하고, 이후 노이즈 주입을 통해 정규화한다.
• 노이즈 주입은 분류기가 더 견고하고 분리된 표현을 학습하도록 유도하는 대안적 정규화 방식으로 기능한다.
• 기존의 다중모달 융합 아키텍처와 호환되며, 텍스트, 음성, 영상 모달에 모두 적용 가능하다.
• 이 방법은 모듈러하게 설계되어 기존 최신 기술 모델에 아키텍처의 대대적 수정 없이 통합할 수 있다.

실험 결과

연구 질문

• RQ1 다중모달 데이터셋의 개인 특성에 기반한 특징이 감성 분류 모델의 일반화 능력에 얼마나 큰 영향을 미치는가?
• RQ2 선택 및 제거 단계를 거치는 두 단계 학습 절차가 다중모달 감성 분석에서 교차 데이터셋 성능을 향상시킬 수 있는가?
• RQ3 선택된 혼란스러운 표현에 가우시안 노이즈를 주입함으로써 다양한 테스트 데이터셋에서의 일반화 능력 향상이 이루어지는가?
• RQ4 SAL은 텍스트, 음성, 영상 및 다중모달 융합 설정에서 기준 모델 대비 정확도와 견고성 측면에서 어떻게 비교되는가?

주요 결과

• SAL은 테스트 데이터셋에서 텍스트, 음성, 영상의 세 모달 모두에서 예측 정확도를 크게 향상시킨다.
• 다중모달 융합 설정에서도 성능 향상이 나타나, 개별 모달을 넘어서 일반화 능력이 향상됨을 보여준다.
• SAL로 훈련된 모델은 훈련 데이터와 다른 화자 인구통계적 특성을 지닌 데이터셋에서도 뛰어난 성능을 기록한다.
• 여러 벤치마크 데이터셋에서 일관된 성능 향상이 나타나 도메인 이동에 대한 견고함을 입증한다.
• 두 번째 단계에서 가우시안 노이즈를 추가함으로써 혼란스러운 표현에 대한 의존도는 감소시키지만, 모달별 신호의 품질은 유지된다.
• SAL은 최신 기술 모델이 온라인 플랫폼 간에 더 잘 일반화되도록 하여 감성 예측에서 개인 특성에 기반한 편향을 줄여준다.