[논문 리뷰] Deep Multimodal Representation Learning from Temporal Data

Xitong Yang, Palghat Ramesh외 4명|arXiv (Cornell University)|2017. 04. 11.

Music and Audio Processing참고 문헌 23인용 수 12

한 줄 요약

이 논문은 다중모odal 시계열 표현 학습을 위한 새로운 딥러닝 모델인 CorrRNN을 제안한다. 이 모델은 GRU 기반의 인코더-디코더 아키텍처와 다중목표 손실 함수, 동적 모달리티 가중치를 사용하여 교차모달 상관관계와 시계열 의존성을 동시에 포착한다. CorrRNN은 영상, 음성, 센서 신호와 같은 시계열 데이터를 효과적으로 융합함으로써 음성-시각적 언어 인식 및 다중모달 활동 분류 과제에서 최신 기술 수준의 성능을 달성하며, 노이즈에 대해 강건함을 유지한다.

ABSTRACT

In recent years, Deep Learning has been successfully applied to multimodal learning problems, with the aim of learning useful joint representations in data fusion applications. When the available modalities consist of time series data such as video, audio and sensor signals, it becomes imperative to consider their temporal structure during the fusion process. In this paper, we propose the Correlational Recurrent Neural Network (CorrRNN), a novel temporal fusion model for fusing multiple input modalities that are inherently temporal in nature. Key features of our proposed model include: (i) simultaneous learning of the joint representation and temporal dependencies between modalities, (ii) use of multiple loss terms in the objective function, including a maximum correlation loss term to enhance learning of cross-modal information, and (iii) the use of an attention model to dynamically adjust the contribution of different input modalities to the joint representation. We validate our model via experimentation on two different tasks: video- and sensor-based activity classification, and audio-visual speech recognition. We empirically analyze the contributions of different components of the proposed CorrRNN model, and demonstrate its robustness, effectiveness and state-of-the-art performance on multiple datasets.

연구 동기 및 목표

• 영상, 음성, 센서 신호와 같은 다중 시간 모달리티를 융합하면서도 그 내재된 시계열 의존성과 교차모달 상관관계를 유지하는 문제를 해결하기 위해.
• 음성-시각 데이터를 초월해 일반화 가능한 비지도 학습 기반의 시간적 다중모달 학습 프레임워크를 개발하기 위해.
• 공동 표현에 기여하는 정도에 따라 입력 모달리티의 기여도를 동적으로 조정함으로써 노이즈 또는 모달리티별 열악한 환경에 대한 강건성을 향상시키기 위해.
• 기존의 확률 모델(예: RTMRBM, CRBM)과 비교해 효율적이고 다룰 수 있는 학습을 가능하게 하기 위해.
• 활동 분류 및 음성 인식과 같은 다양한 시간적 융합 과제에서 모델의 효과성을 입증하기 위해.

제안 방법

• 모델은 다중모달 시계열 시퀀스의 장기적 시계열 의존성을 모델링하기 위해 게이트드 순환 단위(Gated Recurrent Units, GRUs) 기반의 인코더-디코더 RNN 아키텍처를 사용한다.
• 정보 유지 목적의 복원 손실과 교차모달 정렬을 향상시키기 위한 최대 상관관계 손실을 조합한 다면적 손실 함수를 사용한다.
• 입력의 관련성에 따라 각 모달리티의 기여도를 적응적으로 조정할 수 있도록 인코더에 동적 가중치 메커니즘을 통합한다.
• 공동 표현은 지도 학습에 의존하지 않고 비지도 방식으로 학습함으로써 사전학습을 위한 레이블 데이터 의존도를 감소시킨다.
• 역전파를 통한 시간 역행(backpropagation through time)을 사용해 엔드 투 엔드로 학습하며, 복원 오차를 최소화하고 모달리티 간 상관관계를 최대화하는 것을 목표로 한다.
• 융합된 특징의 품질과 일반화 능력을 평가하기 위해 교차모달 및 공유 표현 학습을 평가한다.

실험 결과

연구 질문

• RQ1 비시계열 융합 모델에 비해, 딥 네트워크가 다중모달 시계열 데이터에서 시계열 의존성과 교차모달 상관관계를 더 효과적으로 동시에 학습할 수 있는가?
• RQ2 최대 상관관계 손실 항목의 통합이 다중모달 시계열 융합에서 공동 표현 학습에 어떻게 기여하는가?
• RQ3 동적 모달리티 가중치가 노이즈가 많거나 신뢰도가 떨어지는 입력 모달리티에 대해 얼마나 강건성을 향상시키는가?
• RQ4 CorrRNN 모델은 음성-시각적 언어 인식을 초월해 다양한 시간적 다중모달 과제에 효과적으로 일반화되는가?
• RQ5 정확도와 노이즈 강건성 측면에서 CorrRNN의 성능은 RTMRBM, CRBM, 딥 오토에인코더와 같은 최신 기술 수준의 방법들과 비교해 어떻게 되는가?

주요 결과

• AVLetters 데이터셋에서 CorrRNN는 83.40%의 분류 정확도를 기록하여 MDAE(62.04%), MDBN(63.2%), MDBM(64.7%), RTMRBM(66.04%), CRBM(67.10%)를 상당히 앞서며 성능을 뛰어넘었다.
• CUAVE 데이터셋에서 CorrRNN는 95.9%의 정확도를 달성하여 MDAE(66.70%), MDBN(67.20%), MDBM(69.00%), CRBM(69.10%)를 포함한 모든 이전 방법들을 압도했다.
• 교차모달 학습에서, 음성으로 학습하고 영상으로 테스트했을 때 CorrRNN는 85.33%의 정확도를 기록하여 뛰어난 일반화 능력과 교차모달 정렬 능력을 입증했다.
• 공유 표현 학습에서, 양 모달리티로 학습하고 영상으로 테스트했을 때 CorrRNN는 96.77%의 정확도를 기록하여 고품질의 공동 표현 학습 능력을 보였다.
• 0dB SNR의 화이트 가우시안 노이즈 조건 하에서 CorrRNN의 정확도는 오직 5.23% 감소하였고, 기준 모델들은 12~20%의 감소를 보이며 훨씬 떨어지는 성능을 보였다. 이는 뛰어난 강건성을 입증한다.
• 모델의 성능은 모든 평가 설정에서 일관되게 뛰어나, 다중목표 손실 함수와 동적 가중치 메커니즘의 효과성을 확인시켰다.