[논문 리뷰] M<sup>2</sup>Lens: Visualizing and Explaining Multimodal Models for Sentiment Analysis

Xingbo Wang, Jianben He외 4명|arXiv (Cornell University)|2022. 01. 01.

Topic Modeling참고 문헌 83인용 수 82

한 줄 요약

M2Lens는 글로벌, 서브셋, 로컬 수준에서 내부 및 상호 모odal 상호작용을 시각화함으로써 다중모态 감성 분석 모델을 설명하는 상호작용형 시각적 분석 시스템이다. SHAP와 같은 사후 설명 기법을 사용하여 영향력 있는 특성 패턴과 상호작용 유형(지배, 보완, 갈등)을 식별함으로써 사용자가 텍스트, 음성, 영상 모달리티에서 모델 행동을 높은 해석 가능성과 다각적 탐색 능력으로 진단할 수 있도록 한다.

ABSTRACT

Multimodal sentiment analysis aims to recognize people's attitudes from multiple communication channels such as verbal content (i.e., text), voice, and facial expressions. It has become a vibrant and important research topic in natural language processing. Much research focuses on modeling the complex intra- and inter-modal interactions between different communication channels. However, current multimodal models with strong performance are often deep-learning-based techniques and work like black boxes. It is not clear how models utilize multimodal information for sentiment predictions. Despite recent advances in techniques for enhancing the explainability of machine learning models, they often target unimodal scenarios (e.g., images, sentences), and little research has been done on explaining multimodal models. In this paper, we present an interactive visual analytics system, M2 Lens, to visualize and explain multimodal models for sentiment analysis. M2 Lens provides explanations on intra- and inter-modal interactions at the global, subset, and local levels. Specifically, it summarizes the influence of three typical interaction types (i.e., dominance, complement, and conflict) on the model predictions. Moreover, M2 Lens identifies frequent and influential multimodal features and supports the multi-faceted exploration of model behaviors from language, acoustic, and visual modalities. Through two case studies and expert interviews, we demonstrate our system can help users gain deep insights into the multimodal models for sentiment analysis.

연구 동기 및 목표

• 딥 러닝 기반의 다중모달 감성 분석 모델이 블랙박스로 작동하는 데서 비롯되는 설명 가능성과 상호작용 기반 도구의 부족을 해결한다.
• 텍스트, 음성, 영상 모달리티와 그 상호작용이 모델 예측에 어떻게 영향을 주는지를 글로벌, 서브셋, 로컬 수준의 다수준 설명을 제공한다.
• 감성 결정에서 모달리티 간 지배, 보완성, 갈등과 같은 복잡한 상호작용 패턴을 탐색하고 이해할 수 있도록 한다.
• 유저가 빈번하고 영향력 있는 다중모달 특성 템플릿과 그 모델 행동에 미치는 영향을 효율적이고 인간에게 친화적인 방식으로 탐색할 수 있도록 지원한다.
• 통합된 시각적 구성 요소와 전문가 기반 설계를 통해 모델 진단과 통찰 생성을 촉진한다.

제안 방법

• 텍스트, 음성, 시각 모달리티 전반에서 특성 중요도 점수를 계산하기 위해 사후 설명 기법(예: SHAP)을 통합한다.
• 요약 뷰에서 확장된 트리 구조 레이아웃을 사용하여 글로벌 모달리티 영향력과 상호작용 유형(지배, 보완, 갈등)을 시각화한다.
• 템플릿 뷰에서 반복적이고 영향력 있는 다중모달 특성 집합을 요약하는 간결하고 인간이 읽을 수 있는 특성 템플릿을 생성한다.
• 기능 중요도, 감성, 모달리티 상호작용 기반으로 인스턴스를 다각도로 탐색할 수 있도록 사용자 정의 가능한 기호를 사용한 프로젝션 뷰를 활용한다.
• 개별 예측에서 핵심 특성과 그 맥락을 다양한 모달리티에 걸쳐 강조 표시함으로써 인스턴스 뷰에서 국소적 설명을 시각화한다.
• 라소 선택, 줌, 영상 재생, 영상 데이터의 얼굴 영역 실시간 강조 표시를 통해 상호작용 탐색을 지원한다.

실험 결과

연구 질문

• RQ1 다중모달 감성 분석 모델에서 내부 및 상호 모달 상호작용을 효과적으로 시각화하고 설명하는 방법은 무엇인가?
• RQ2 모달리티 간 가장 영향력 있는 상호작용 유형(예: 지배, 보완, 갈등)은 무엇이며, 그것이 모델 예측에 어떻게 영향을 주는가?
• RQ3 빈번하고 영향력 있는 다중모달 특성 패턴을 인간이 읽을 수 있고 실행 가능한 방식으로 요약할 수 있는가?
• RQ4 상호작용 기반 시각적 분석이 사용자가 모델 행동과 오류 패턴에 깊이 있고 실행 가능한 통찰을 얻는 데 얼마나 기여하는가?
• RQ5 사용자들은 다중모달 모델의 다각적, 다수준 설명을 지원하는 시스템의 사용성과 효과성에 대해 어떻게 평가하는가?

주요 결과

• 전문가들은 M2Lens가 모델 행동 진단에 효과적이라고 평가했으며, 한 명의 전문가는 EF-LSTM 모델이 주로 텍스트 감성 신호를 무시한다는 점을 파악하는 데 도움이 되었다고 지적했다.
• 템플릿 뷰는 사용자가 인스턴스 간 오류 패턴을 일반화하는 데 기여했으며, 한 명의 전문가는 반복적인 모델 실패를 식별하는 데 유용하다고 강조했다.
• 프로젝션 뷰의 히트맵과 기호 기반 설계는 모달리티 간 오류 및 중요도 패턴을 드러내는 데 칭찬을 받았으며, 특히 갈등 신호 탐지에 효과적이었다.
• 요약 뷰는 모달리티 지배력과 상호작용 유형의 글로벌 개요를 제공해 사용자에게 가장 가치 있는 요소로 평가되었으며, 빠른 모델 평가를 지원했다.
• 전문가들은 약 20분의 중간 수준의 학습 곡선을 경험했지만, 모델 이해와 향후 진단 작업에 매우 유용하다고 평가했다.
• 전문가 피드백을 바탕으로 북마크 기능과 모델 비교 기능 등 실질적인 개선 사항이 도출되었으며, 이는 시스템이 실제 워크플로우에서 실용적인 유용성을 지닌다는 점을 입증했다.