[논문 리뷰] Dynamic Fusion for Multimodal Data.

Gaurav Sahu, Olga Vechtomova|arXiv (Cornell University)|2019. 11. 10.

Speech Recognition and Synthesis참고 문헌 11인용 수 3

한 줄 요약

이 논문은 추론 시점에서 최적의 융합 전략을 학습함으로써 고정된 연산 방식(예: 연결) 대신 다중모odal 데이터(예: 영상, 음성, 텍스트)를 적응적으로 통합하는 동적 융합 네트워크를 제안한다. 이론적 접근법으로는 전이 융합 네트워크와 GAN 기반 정규화 기법을 포함하며, 더 나은 다중모달 맥락 모델링을 통해 기계 번역 및 정서 인식 분야에서 최신 기준 성능을 달성한다.

ABSTRACT

Effective fusion of data from multiple modalities, such as video, speech, and text, is challenging pertaining to the heterogeneous nature of multimodal data. In this paper, we propose dynamic fusion techniques that model context from different modalities efficiently. Instead of defining a deterministic fusion operation, such as concatenation, for the network, we let the network decide how to combine given multimodal features in the most optimal way. We propose two networks: 1) transfusion network, which learns to compress information from different modalities while preserving the context, and 2) a GAN-based network, which regularizes the learned latent space given context from complimenting modalities. A quantitative evaluation on the tasks of machine translation, and emotion recognition suggest that such adaptive networks are able to model context better than all existing methods.

연구 동기 및 목표

• 다양한 다중모달 데이터(예: 영상, 음성, 텍스트)를 효과적으로 융합하는 문제를 해결한다.
• 연결과 같은 고정된 융합 방법의 한계를 극복한다. 이러한 방법들은 다양한 맥락적 의존성에 적응하지 못한다.
• 다양한 모odal에서 특징을 동적으로 통합할 수 있는 최적의 방식을 결정하는 신경망 아키텍처를 개발한다.
• 다양한 모달 간의 상보적 정보를 활용하여 다중모달 작업의 맥락 모델링을 향상시킨다.
• 기계 번역 및 정서 인식과 같은 후행 작업에서 뛰어난 성능을 달성한다.

제안 방법

• 다양한 모달의 특징을 압축하고 융합하면서 맥락 정보를 유지하는 전이 융합 네트워크를 제안한다.
• 보완적인 모달을 사용하여 잠재 공간을 정규화하는 GAN 기반 구성 요소를 도입한다.
• 결정론적 융합 연산을 대체로 입력 맥락에 따라 적응하는 학습 가능한 동적 융합 메커니즘을 도입한다.
• 입력 모달 표현 기반으로 융합 결정을 최적화하기 위해 네트워크를 엔드 투 엔드로 훈련한다.
• 이질적이고 의미 있는 잠재 표현을 유도하기 위해 적대적 훈련을 사용한다.
• 추론 중에 입력에 따라 모달별 주의 및 융합 가중치를 동적으로 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 융합 메커니즘이 연결과 같은 고정된 융합 연산 방식을 능가할 수 있는가?
• RQ2 동적 융합은 다양한 입력 모달을 가진 작업에서 다중모달 맥락을 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 GAN 기반 정규화가 융합된 잠재 공간의 품질을 어느 정도 향상시키는가?
• RQ4 동적 융합은 기계 번역 및 정서 인식과 같은 후행 작업에서 성능 향상에 기여하는가?
• RQ5 고정된 아키텍처에 의존하지 않고 입력 맥락에 따라 융합 전략을 적응적으로 조정할 수 있는가?

주요 결과

• 제안된 동적 융합 네트워크는 기계 번역 및 정서 인식 벤치마크에서 최신 기준 성능을 달성한다.
• 전이 융합 네트워크는 중요한 맥락 정보를 유지하면서 다중모달 특징을 효과적으로 압축하고 융합한다.
• GAN 기반 정규화 기법은 학습된 잠재 표현의 분리성과 의미적 품질을 향상시킨다.
• 동적 융합은 모든 기존의 고정 융합 기반 베이스라인보다 다중모달 맥락 모델링에서 뛰어난 성능을 보인다.
• 입력에 따라 변하는 모달별 융합 가중치를 학습함으로써 맥락 인식 기반의 특징 통합이 가능해진다.
• 정량적 평가 결과 기계 번역 및 정서 인식 작업 모두에서 뛰어난 성능이 확인되었다.