[논문 리뷰] M2P2: Multimodal Persuasion Prediction using Adaptive Fusion

Chongyang Bai, Haipeng Chen외 3명|arXiv (Cornell University)|2020. 06. 03.

Misinformation and Its Impacts인용 수 5

한 줄 요약

M2P2는 다중모态의 음성, 시각, 언어 모달리티를 활용하여 의사결정 결과 예측(DOP)과 새로 도입된 설득력 강도 예측(IPP) 문제를 해결하기 위한 새로운 적응형 융합 프레임워크를 제안한다. 이는 DOP에서 이전 베이스라인 대비 2%~3.7% 향상되었고, IPP에서는 MSE 기준 25% 이상 향상되었다. 이는 단일모달 기반 참조 모델을 통해 모달리티 간 일치성과 이질성을 학습하는 이중모듈 아키텍처를 사용한다.

ABSTRACT

Identifying persuasive speakers in an adversarial environment is a critical task. In a national election, politicians would like to have persuasive speakers campaign on their behalf. When a company faces adverse publicity, they would like to engage persuasive advocates for their position in the presence of adversaries who are critical of them. Debates represent a common platform for these forms of adversarial persuasion. This paper solves two problems: the Debate Outcome Prediction (DOP) problem predicts who wins a debate while the Intensity of Persuasion Prediction (IPP) problem predicts the change in the number of votes before and after a speaker speaks. Though DOP has been previously studied, we are the first to study IPP. Past studies on DOP fail to leverage two important aspects of multimodal data: 1) multiple modalities are often semantically aligned, and 2) different modalities may provide diverse information for prediction. Our M2P2 (Multimodal Persuasion Prediction) framework is the first to use multimodal (acoustic, visual, language) data to solve the IPP problem. To leverage the alignment of different modalities while maintaining the diversity of the cues they provide, M2P2 devises a novel adaptive fusion learning framework which fuses embeddings obtained from two modules -- an alignment module that extracts shared information between modalities and a heterogeneity module that learns the weights of different modalities with guidance from three separately trained unimodal reference models. We test M2P2 on the popular IQ2US dataset designed for DOP. We also introduce a new dataset called QPS (from Qipashuo, a popular Chinese debate TV show ) for IPP. M2P2 significantly outperforms 4 recent baselines on both datasets.

연구 동기 및 목표

• 설득력 강도 예측(IPP)에 대한 기존 해결책의 부족을 해결하기 위해, 투표 변화를 측정하는 개별 연설가의 설득력에 기반한 새로운 문제를 다루기 위해.
• 이전 방법보다 더 효과적으로 다중모달 데이터(음성, 시각, 언어)를 활용하여 의사결정 결과 예측(DOP)을 향상시키기 위해.
• 다양한 모달리티 간 공통 정보(일치성)와 모달리티 특유의 정보(이질성)를 동시에 캡처하는 프레임워크를 개발하기 위해.
• 향후 설득력 예측 연구를 지원하기 위해 중국의 디베이트 쇼 'Qipashuo'에서 유래한 새로운 데이터셋 QPS를 제작하고 공개하기 위해.

제안 방법

• M2P2는 다중모달 간 공통 표현을 추출하는 일치 모듈과 모달리티 특유의 가중치를 학습하는 이질성 모듈으로 구성된 이중모듈 아키텍처를 사용한다.
• 이질성 모듈은 각 모달리티에 대한 동적 중요도를 할당하기 위해 별도로 훈련된 단일모달 기반 참조 모델(음성, 시각, 언어)에 의해 안내된다.
• 일치 모듈과 이질성 모듈의 임베딩을 조합함으로써 적응형 융합을 달성하여, 신뢰할 수 있고 정보가 풍부한 모달리티에 집중할 수 있도록 한다.
• IQ2US의 경우 문장 임베딩은 Universal Sentence Encoder를 사용하며, QPS의 경우 미세조정된 LSTMs를 통해 128차원 문장 임베딩을 학습한다.
• 프레임워크는 다중모달 시퀀스에 대해 엔드 투 엔드로 훈련되며, DOP(분류)와 IPP(회귀)에 맞게 손실 함수가 조정된다.
• 제거 실험과 모달리티 가중치 분석을 통해 모델이 유의미한 모달리티, 특히 언어와 음성 모달리티를 동적으로 우선순위를 정하는 능력을 입증하였다.

Figure 1 : In multimodal content, the modalities are semantically aligned. This example shows a case where the visual modality (facial expressions) and the language modality (the content of the speech) are closely aligned.

실험 결과

연구 질문

• RQ1 개별 연설가의 설득력(투표 변화로 측정)을 초과하여 팀 수준의 결과를 넘어서, 다중모달 딥러닝 프레임워크가 설득력 강도 예측(IPP)을 효과적으로 예측할 수 있는가?
• RQ2 다양한 모달리티(음성, 시각, 언어)가 의미적 일치성과 정보 이질성을 동시에 보일 때, 모델은 어떻게 적응적으로 융합할 수 있는가?
• RQ3 낮은 데이터 환경에서, 이질성 모듈을 통한 모달리티 특유의 중요도 학습이 어텐션 메커니즘을 능가하는가?
• RQ4 단일모달 기반 참조 모델은 설득력 예측에서 다중모달 융합 프레임워크의 성능을 얼마나 향상시키는가?
• RQ5 실제 디베이트 TV 쇼에서 유래한 새로운 데이터셋 QPS는 IPP 모델의 신뢰성 있고 일반화 가능한 평가를 가능하게 하는가?

주요 결과

• M2P2는 최근의 베이스라인 대비 IQ2US 데이터셋에서 DOP 정확도를 2%~3.7% 향상시켰으며, 통계적 유의성(p < 0.05)을 확보하여 뛰어난 성능을 입증하였다.
• 새로운 QPS 데이터셋에서 M2P2는 적응된 베이스라인 대비 IPP의 평균제곱오차(MSE)를 25% 이상 감소시켰으며, p < 0.01로 유의미한 성능 향상을 보였다. 이는 강력한 일반화 능력을 시사한다.
• 아날리시스 및 모달리티 가중치 분석 결과 언어 모달리티가 예측에 가장 기여하며, 이어 음성 모달리티가 뒤를 이었고, 시각 모달리티가 가장 효과가 낮았다.
• IQ2US에서 어휘 수준의 임베딩은 문장 수준의 임베딩보다 1.4% 높은 성능을 보였고, QPS에서 MSE 기준 20% 향상되었으며, 이는 세밀한 의미적 구조의 중요성을 시사한다.
• 이질성 모듈은 파arameter 수가 적고, 작은 데이터셋에서 더 나은 일반화 능력을 보여, 과적합을 피할 수 있어 어텐션 메커니즘을 능가한다.
• 실시간 설득력 예측이 정확하게 이루어지며, 그림 LABEL:fig:real_time_prediction에서 M2P2의 출력이 디베이트 중 실제 투표 변화를 정확히 따라가는 것으로 확인되었다.

(a) There are cases where the visual modality is noisy, while the language modality is clean. In 4 consecutive frames when the woman is speaking, the face of a man appears (see frames 2 and 3) and the man’s face is incorrectly assumed to be the woman’s. The language modality, however, is correct.