[논문 리뷰] Memory Fusion Network for Multi-view Sequential Learning

Amir Zadeh, Paul Pu Liang외 4명|arXiv (Cornell University)|2018. 02. 03.

Domain Adaptation and Few-Shot Learning인용 수 120

한 줄 요약

MFN은 뷰별 동적 특성을 별개로 모델링하고, Delta-memory Attention으로 교차 뷰 상호 작용을 식별하며, Multi-view Gated Memory를 통해 시간에 걸친 교차 뷰 정보를 저장하여 다중 뷰 시퀀스 벤치마크에서 최신 연구 결과를 달성하는 세 가지 구성 요소의 신경망 아키텍처를 도입합니다.

ABSTRACT

Multi-view sequential learning is a fundamental problem in machine learning dealing with multi-view sequences. In a multi-view sequence, there exists two forms of interactions between different views: view-specific interactions and cross-view interactions. In this paper, we present a new neural architecture for multi-view sequential learning called the Memory Fusion Network (MFN) that explicitly accounts for both interactions in a neural architecture and continuously models them through time. The first component of the MFN is called the System of LSTMs, where view-specific interactions are learned in isolation through assigning an LSTM function to each view. The cross-view interactions are then identified using a special attention mechanism called the Delta-memory Attention Network (DMAN) and summarized through time with a Multi-view Gated Memory. Through extensive experimentation, MFN is compared to various proposed approaches for multi-view sequential learning on multiple publicly available benchmark datasets. MFN outperforms all the existing multi-view approaches. Furthermore, MFN outperforms all current state-of-the-art models, setting new state-of-the-art results for these multi-view datasets.

연구 동기 및 목표

• 다양한 뷰에서 데이터가 뷰별로 특이한 동적 특성과 교차 뷰 상호 작용을 가지는 다중 뷰 시퀀스 학습의 동기를 제시하고 이를 해결합니다.
• 시간에 따라 두 가지 유형의 상호 작용을 모델링하기 위해 MFN 아키텍처를 제안합니다.
• 다양한 다중 모달 데이터셋에서 MFN의 효과를 입증하고 최첨단 방법과 비교합니다.

제안 방법

• 각 뷰가 자체 LSTM을 갖는 LSTM 시스템을 구현하여 뷰별 동적 특성을 포착합니다.
• Delta-memory Attention Network (DMAN)을 사용하여 교차 뷰 상호 작용의 관련성을 인접한 메모리 상태(t-1 및 t) 간에 어텐션함으로써 결정합니다.
• DMAN 출력을 사용하여 교차 뷰 상호 작용을 시간에 걸쳐 저장하고 요약하는 Multi-view Gated Memory를 도입합니다.
• 최종 예측을 위해 모든 뷰 특이 LSTM의 출력과 교차 뷰 메모리의 출력을 결합합니다.
• Delta memory와 교차 뷰 메모리에 대한 기여를 평가하기 위한 ablation 연구를 수행합니다.

실험 결과

연구 질문

• RQ1 다중 뷰 시퀀스 데이터에서 뷰별 특성과 교차 뷰 상호 작용을 모두 명시적으로 어떻게 모델링할 수 있는가?
• RQ2 Delta-memory Attention 메커니즘을 도입하면 시간에 따른 교차 뷰 상호 작용의 발견이 향상되는가?
• RQ3 Dedicated Multi-view Gated Memory가 장기 교차 뷰 정보를 포착하는 데 어떤 영향을 미치는가?
• RQ4 MFN은 다양한 데이터 셋에서 최첨단의 다중 뷰 시퀀스 모델과 비교해 어떤 성능을 보이는가?

주요 결과

• MFN은 다중 모달 감정 분석, 감정 인식, 화자 특성 분석에서 모든 평가 데이터셋과 지표에서 최신 성능을 달성합니다.
• Ablation 연구는 Delta memory와 Multi-view Gated Memory를 모두 갖춘 MFN이 이러한 구성 요소가 없는 MFN 변형보다 우수하다는 것을 보여줍니다.
• MFN은 상당히 적은 매개변수 수(~5e5)와 더 빠른 런타임(~2858 추론/초)으로 주목할 만한 베이스라인에 비해 더 나은 성능을 제공합니다.
• 여러 뷰를 사용하면 단일 뷰 MFN 변형보다 일관되게 결과가 향상되어 교차 뷰 모델링의 가치를 강조합니다.
• Δ-메모리(t-1, t)가 중요한 시간적 맥락을 제공하며, MFN(없음 Δ) 절단에서 성능 저하로 나타났습니다.