[논문 리뷰] Efficient Multimodal Transformer with Dual-Level Feature Restoration for Robust Multimodal Sentiment Analysis

Licai Sun, Zheng Lian외 2명|arXiv (Cornell University)|2022. 08. 16.

Sentiment Analysis and Opinion Mining인용 수 7

한 줄 요약

이 논문은 전역-국소 상호작용을 모델링하고 双중 수준의 특징 복원을 적용함으로써 효율적이고 강건한 감성 분석을 가능하게 하는 새로운 다중모态 Transformer 프레임워크인 EMT-DLFR를 제안한다. 이는 완전한 모달리티 설정과 불완전한 모달리티 설정 모두에서 세 가지 벤치마크에서 최신 기준 성능을 달성하며, 무작위 모달리티 누락에 대한 뛰어난 효율성과 강건성을 입증한다.

ABSTRACT

With the proliferation of user-generated online videos, Multimodal Sentiment Analysis (MSA) has attracted increasing attention recently. Despite significant progress, there are still two major challenges on the way towards robust MSA: 1) inefficiency when modeling cross-modal interactions in unaligned multimodal data; and 2) vulnerability to random modality feature missing which typically occurs in realistic settings. In this paper, we propose a generic and unified framework to address them, named Efficient Multimodal Transformer with Dual-Level Feature Restoration (EMT-DLFR). Concretely, EMT employs utterance-level representations from each modality as the global multimodal context to interact with local unimodal features and mutually promote each other. It not only avoids the quadratic scaling cost of previous local-local cross-modal interaction methods but also leads to better performance. To improve model robustness in the incomplete modality setting, on the one hand, DLFR performs low-level feature reconstruction to implicitly encourage the model to learn semantic information from incomplete data. On the other hand, it innovatively regards complete and incomplete data as two different views of one sample and utilizes siamese representation learning to explicitly attract their high-level representations. Comprehensive experiments on three popular datasets demonstrate that our method achieves superior performance in both complete and incomplete modality settings.

연구 동기 및 목표

• 비정렬된 다중모달 시퀀스에서의 상호작용 모델링에 있어 기존 방법의 비효율성을 해결하기 위해.
• 실제 환경에서 흔한 문제인 무작위 모달리티 특징 누락 상황에서 모델의 강건성을 향상시키기 위해.
• 다중모달 융합에서 성능을 유지하거나 향상시키면서 계산 복잡도를 감소시키기 위해.
• 완전한 모달리티 조건과 불완전한 모달리티 조건에서 모두 효율적인 융합과 강건한 표현 학습을 통합하기 위해.
• 암묵적인 저수준 복원과 명시적인 고수준 표현 정렬을 통해 불완전한 데이터로부터 효과적으로 학습할 수 있도록 하기 위해.

제안 방법

• EMT는 문장 수준의 표현에서 유도된 전역적 다중모달 맥락을 도입하여 효율적인 전역-국소 상호작용을 가능하게 하며, 국소-국소 주의의 제곱형 복잡도를 피한다.
• 계층적 매개변수 공유를 적용하여 매개변수 효율성을 향상시키고 학습을 용이하게 한다.
• DLFR는 저수준 특징 복원을 수행하여 불완전한 데이터로부터 암묵적인 의미 학습을 장려한다.
• DLFR는 같은 샘플의 완전한 및 불완전한 뷰의 고수준 표현을 명시적으로 정렬하기 위해 시아미즈 표현 학습을 사용한다.
• 프레임워크는 완전한 및 불완전한 데이터를 두 뷰로 간주하고, 대비 학습을 활용하여 강건하고 공유되는 표현을 유도한다.
• 모델은 텍스트에 BERT를 사용하며, 누락된 음성 및 시각 특징은 0으로 패딩하고, 누락된 텍스트 토큰은 [UNK]로 대체한다.

실험 결과

연구 질문

• RQ1 국소-국소 주의와 비교해 전역-국소 상호작용이 계산 복잡도를 감소시키면서도 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 저수준 특징 복원은 무작위 모달리티 누락에 대한 강건성을 향상시키는 데 얼마나 효과적인가?
• RQ3 시아미즈 학습을 통한 명시적 고수준 표현 정렬은 불완전한 설정에서 강건성을 추가로 향상시킬 수 있는가?
• RQ4 암묵적 및 명시적 복원 전략의 조합이 각각의 전략보다 더 나은 성능을 낼 수 있는가?
• RQ5 제안된 프레임워크는 완전한 및 불완전한 모달리티 시나리오 모두에 일반화되어 일관된 성능 향상을 이룰 수 있는가?

주요 결과

• EMT-DLFR는 완전한 모달리티 설정과 불완전한 모달리티 설정 모두에서 세 가지 인기 있는 다중모달 감성 분석 데이터셋에서 최신 기준 성능을 달성한다.
• 전역-국소 주의 메커니즘이 국소-국소 방법에 비해 계산 비용을 크게 감소시켜 모달리티 수에 대해 선형 스케일링을 달성한다.
• 저수준 특징 복원은 고수준 표현 정렬만으로는 효과적이지 않은 경우에 비해 모달리티 특징 누락에 대한 강건성을 향상시키는 데 더 효과적임을 입증한다.
• 이중 수준 복원 전략의 조합은 상호 보완적인 향상을 이끌어내어 총합 성능을 향상시킨다.
• 시각화 결과는 중간 수준의 누락 비율에서도 모델이 의미 있는 다중모달 신호에 주의를 유지하며, 누락된 토큰에 대해 부분적인 주의를 기울이는 것으로 나타나 강건성을 보여준다.
• 제안된 OAGL(전역-국소) 전략의 주의 행렬은 OOLL(국소-국소) 전략보다 덜 중복적이며 임의의 상관관계에 덜 민감하여 과적합 위험 감소를 확인한다.