[논문 리뷰] Unsupervised Multimodal Language Representations using Convolutional Autoencoders

Panagiotis Koromilas, Theodoros Giannakopoulos|arXiv (Cornell University)|2021. 10. 06.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 단어 정렬된 음성, 텍스트, 시각적 시퀀스에 2차원 컨볼루션 오토인코더(CAE)를 사용하여 비지도 다중모odal 표현 학습 방법을 제안한다. 여러 데이터셋에서 지도 없이 학습함으로써, 모델은 압축되고 이식 가능한 임베딩을 학습하며, 단지 로지스틱 회귀를 사용하여 감성 및 정서 인식에서 거의 최신 기술 수준의 성능을 달성한다. 파rameter 수는 약 257,000개이며, 다양한 도메인과 데이터 분포 간에 뛰어난 일반화 성능을 보인다.

ABSTRACT

Multimodal Language Analysis is a demanding area of research, since it is associated with two requirements: combining different modalities and capturing temporal information. During the last years, several works have been proposed in the area, mostly centered around supervised learning in downstream tasks. In this paper we propose extracting unsupervised Multimodal Language representations that are universal and can be applied to different tasks. Towards this end, we map the word-level aligned multimodal sequences to 2-D matrices and then use Convolutional Autoencoders to learn embeddings by combining multiple datasets. Extensive experimentation on Sentiment Analysis (MOSEI) and Emotion Recognition (IEMOCAP) indicate that the learned representations can achieve near-state-of-the-art performance with just the use of a Logistic Regression algorithm for downstream classification. It is also shown that our method is extremely lightweight and can be easily generalized to other tasks and unseen data with small performance drop and almost the same number of parameters. The proposed multimodal representation models are open-sourced and will help grow the applicability of Multimodal Language.

연구 동기 및 목표

• 다양한 녹음 조건과 작업에 걸쳐 일반화되는 통합된 비지도 다중모달 표현 학습 프레임워크를 개발하기 위해.
• 다중모달 언어 분석에서 지도 학습 모델의 한계를 해결하기 위해, 이는 종종 새로운 데이터나 녹음 설정에 일반화되지 못하기 때문이다.
• 핵심 표현 모델을 재학습하지 않고도 다양한 후행 작업에서 높은 성능을 유지하는 경량이며 파rameter 효율적인 아키텍처를 만들기 위해.
• 여러 데이터셋에서 사전학습하고 동일한 인코더를 다양한 응용에 사용함으로써, 제로샷 또는 소수의 샘플로의 전이 학습을 가능하게 하기 위해.
• 모델을 오픈소스로 제공하고, 표현 네트워크를 미세조정 없이도 후행 다중모달 작업에 즉시 사용할 수 있는 플러그 앤 플레이 솔루션을 제공하기 위해.

제안 방법

• 음성, 텍스트, 시각적 특징 시퀀스에 대해 단어 수준의 정렬을 적용하여, 각 발화를 시간에 따른 모odal 특징을 담은 2차원 텐서(행렬)로 변환한다.
• 정렬된 2차원 시퀀스는 정규화되어 컨볼루션 오토인코더(CAE)에 입력되며, 입력 텐서의 종합적 재구성 과정을 통해 공동 다중모달 표현을 학습한다.
• CAE의 인코더 구성 요소는 통합된 특징 추출기 역할을 하며, 시간적 및 교차모달 종속성을 포괄하는 저차원 공유 임베딩을 생성한다.
• 후행 분류 작업을 위해, 학습된 임베딩은 CAE 가중치를 미세조정하지 않고도 단순한 로지스틱 회귀 분류기의 입력으로 사용된다.
• 모델은 여러 데이터셋(MOSEI 및 IEMOCAP 등)에서 사전학습되고, 동일한 인코더를 새로운 작업에 적용함으로써 전이 학습 평가가 수행된다.
• 단일모달 및 이중모달 표현 학습을 지원하기 위해 모달의 부분 집합만 사용함으로써, 동일한 경량 아키텍처를 유지한다.

실험 결과

연구 질문

• RQ1 모든 세 가지 모달(음성, 텍스트, 시각) 간의 상호작용을 비지도로 캡처할 수 있는 단일 통합 아키텍처를 사용하여 비지도 다중모달 표현 학습을 달성할 수 있는가?
• RQ2 다른 녹음 조건을 가진 새로운 데이터셋으로 전이되었을 때, 학습된 표현이 감성 분석 및 정서 인식과 같은 후행 작업에 얼마나 잘 일반화되는가?
• RQ3 최신 기술 수준의 지도 학습 모델에 비해 제안된 방법의 성능 및 파rameter 효율성은 어떠한가?
• RQ4 재학습 또는 미세조정 없이도 동일한 사전학습된 인코더를 다양한 작업과 데이터셋에 사용할 수 있으며, 성능 저하가 최소화되는가?
• RQ5 MOSEI 및 IEMOCAP와 같이 여러 데이터셋의 사전학습 데이터를 조합함으로써, 학습된 표현의 강건성과 일반화 능력이 얼마나 향상되는가?

주요 결과

• 제안된 CAE 기반 방법은 MOSEI(감성 분석) 및 IEMOCAP(정서 인식)에서 모두 거의 최신 기술 수준의 성능을 달성하며, 파arameter 수는 257,206개에 불과하다.
• MOSEI에서 로지스틱 회귀를 사용한 CAE 임베딩으로 이진 정확도가 0.787에 도달하여, 후행 처리 복잡도를 최소화하면서도 뛰어난 성능을 보였다.
• IEMOCAP에서 MOSEI로 지식을 전이했을 때, 이진 정확도가 오직 0.5%p만 감소하여, 강력한 도메인 간 일반화 능력을 보였다.
• MOSEI와 IEMOCAP를 함께 사전학습하면 MOSEI 단독 사전학습보다 후행 작업 성능이 향상되어, 다중 데이터셋 학습의 이점이 입증되었다.
• 다른 모델들이 크게 변동하는 것과는 달리(예: 415K에서 2300만 파arameter), 이 모델은 작업 간 일관된 파arameter 수(~257K)를 유지하여 높은 이식 가능성과 낮은 계산 비용을 입증했다.
• 단일모달 또는 이중모달 표현에도 불구하고 이 방법은 하나 또는 두 개의 모달만 사용할 때도 유사한 성능과 효율성을 유지했다.