[논문 리뷰] Survey on Deep Multi-modal Data Analytics: Collaboration, Rivalry and Fusion

Yang Wang|arXiv (Cornell University)|2020. 06. 15.

Advanced Image and Video Retrieval Techniques참고 문헌 146인용 수 29

한 줄 요약

이 종합 검토는 딥 뉴럴 네트워크에서의 협업, 적대적 경쟁, 융합 전략을 강조하며, 딥 다중모态 데이터 분석에 대한 종합적인 개요를 제시한다. GAN 및 다중시점 오토에인코드와 같은 아키텍처를 통해 이질적인 데이터 소스에서 유용한 정보를 활용함으로써, 클러스터링, 분류, 검색 작업에서 성능 향상을 이끌어내는 다중 모ality 간 공동 학습의 중요성을 부각시킨다.

ABSTRACT

With the development of web technology, multi-modal or multi-view data has surged as a major stream for big data, where each modal/view encodes individual property of data objects. Often, different modalities are complementary to each other. Such fact motivated a lot of research attention on fusing the multi-modal feature spaces to comprehensively characterize the data objects. Most of the existing state-of-the-art focused on how to fuse the energy or information from multi-modal spaces to deliver a superior performance over their counterparts with single modal. Recently, deep neural networks have exhibited as a powerful architecture to well capture the nonlinear distribution of high-dimensional multimedia data, so naturally does for multi-modal data. Substantial empirical studies are carried out to demonstrate its advantages that are benefited from deep multi-modal methods, which can essentially deepen the fusion from multi-modal deep feature spaces. In this paper, we provide a substantial overview of the existing state-of-the-arts on the filed of multi-modal data analytics from shallow to deep spaces. Throughout this survey, we further indicate that the critical components for this field go to collaboration, adversarial competition and fusion over multi-modal spaces. Finally, we share our viewpoints regarding some future directions on this field.

연구 동기 및 목표

• 얕은 특징 공간에서 깊은 특징 공간으로의 최신 딥 다중모달 학습 방법에 대한 체계적인 검토를 제공하기 위해.
• 다중모달 데이터 분석에서 협업, 적대적 경쟁, 융합의 핵심 역할을 식별하고 분석하기 위해.
• 딥 뉴럴 네트워크가 다중 모달 간 상호작용을 통해 특징 표현과 성능을 향상시키는 방식을 검토하기 위해.
• 초기 융합 및 후기 융합 전략의 한계를 검토하고, 더 효과적인 협업 기반 융합 메커니즘을 제안하기 위해.
• 복잡한 실생활 문제를 해결하기 위한 향후 연구 방향으로 공간-시간 다중모달 협업에 초점을 맞추기 위해.

제안 방법

• 다중모달 융합 전략의 분류 체계를 제안: 초기 융합(특징의 조기 연결), 후기 융합(독립 처리 후 집계), 협업 융합(다양한 시각 간 공통된 합의를 달성하기 위한 공동 최적화).
• 다중시점 오토에인코드 및 공유 표현을 학습하는 딥 메트릭 러닝 네트워크와 같은 딥 다중모달 아키텍처를 검토.
• 이미지 및 텍스트 모달 간 적대적 훈련을 가능하게 하는 이중 판별기(내모달 및 간모달)를 갖춘 교차모달 GAN(CM-GANs)을 도입.
• CM-GANs에서 공동 최적화 목표를 적용: 생성기 손실을 최소화하면서 내모달 및 간모달 판별기의 판별 능력을 극대화.
• 이미지 및 텍스트 모달 각각에 대해 별도의 생성기 및 판별기를 갖춘 이중 스트림 아키텍처를 활용하여, 적대적 피드백을 통한 다중 모달 정렬을 실현.
• 다양한 모달에서 온 에이전트들이 최적의 시간과 장소에서 정보를 교환함으로써 복잡성을 줄이고 비최적의 결정을 피할 수 있도록 하는 공간-시간 다중모달 협업 프레임워크를 제안.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 다중 모달 간 상호보완적인 정보를 효과적으로 융합하여 다중모달 학습 작업의 성능을 향상시킬 수 있는가?
• RQ2 다중모달 데이터 분석에서 협업 융합 전략이 초기 융합 및 후기 융합 전략에 비해 가지는 장점과 한계는 무엇인가?
• RQ3 GAN 기반의 적대적 훈련은 다중 모달 표현 학습을 향상시키고 특징의 판별 능력을 향상시키는 데 어떻게 기여하는가?
• RQ4 복잡하고 불확실한 환경(예: 도로망)에서 다중모달 에이전트는 공간적·시간적으로 어떻게 협업하여 계산 복잡성을 줄이고 비최적 경로를 피할 수 있는가?
• RQ5 실제 응용 분야에서 강력하고 실시간 다중모달 협업을 가능하게 하기 위해 필요한 향후 연구 방향은 무엇인가?

주요 결과

• 협업 융합은 다양한 모달 간 공동 최적화 및 공통 학습을 가능하게 하여 초기 융합 및 후기 융합 전략을 능가하는 성능을 보인다.
• 특히 오토에인코드 및 메트릭 러닝을 활용한 딥 다중모달 모델은 비선형적이고 고차원의 표현을 포착함으로써 클러스터링 및 분류 작업에서 뛰어난 성능을 달성한다.
• CM-GANs는 내모달 및 간모달 판별기를 함께 훈련시켜 교차모달 정렬을 향상시키며, 더 판별력 있는 공유 표현을 생성한다.
• 다중모달 GAN에서의 적대적 훈련은 생성기가 다양한 모달 간에 현실적이고 일치하는 표현을 생성하도록 유도함으로써 특징 품질과 일반화 능력을 향상시킨다.
• 다양한 모달 간 공간-시간 협업은 대규모 네트워크에서 검색 복잡성을 크게 줄이고 함정을 피하는 데 기여하며, 경로 탐색 예제를 통해 이를 입증하였다.
• 기준 데이터셋을 대상으로 한 실험 결과는 딥 다중모달 방법이 클러스터링, 분류, 검색 작업에서 단일모달 기반 모델보다 일관되게 뛰어난 성능을 보임을 확인하였다.