[논문 리뷰] CMCGAN: A Uniform Framework for Cross-Modal Visual-Audio Mutual Generation

Wangli Hao, Zhaoxiang Zhang외 1명|arXiv (Cornell University)|2017. 11. 22.

Image Enhancement Techniques인용 수 8

한 줄 요약

이 논문은 시각-청각 상호 생성을 위한 통합 사이클 GAN 프레임워크인 CMCGAN을 제안한다. 이는 청각에서 시각으로, 시각에서 청각으로의 번역을 위한 엔드 투 엔드 학습을 가능하게 하며, 잠재 벡터와 사이클 일관성 아키텍처를 활용한 적대적 훈련을 통해 모odal 비대칭을 효과적으로 다루고 최신 기술 수준의 생성 품질을 달성한다. 이는 결측 데이터가 있는 다중모달 작업에서 강력한 성능을 발휘한다.

ABSTRACT

Visual and audio modalities are two symbiotic modalities underlying videos, which contain both common and complementary information. If they can be mined and fused sufficiently, performances of related video tasks can be significantly enhanced. However, due to the environmental interference or sensor fault, sometimes, only one modality exists while the other is abandoned or missing. By recovering the missing modality from the existing one based on the common information shared between them and the prior information of the specific modality, great bonus will be gained for various vision tasks. In this paper, we propose a Cross-Modal Cycle Generative Adversarial Network (CMCGAN) to handle cross-modal visual-audio mutual generation. Specifically, CMCGAN is composed of four kinds of subnetworks: audio-to-visual, visual-to-audio, audio-to-audio and visual-to-visual subnetworks respectively, which are organized in a cycle architecture. CMCGAN has several remarkable advantages. Firstly, CMCGAN unifies visual-audio mutual generation into a common framework by a joint corresponding adversarial loss. Secondly, through introducing a latent vector with Gaussian distribution, CMCGAN can handle dimension and structure asymmetry over visual and audio modalities effectively. Thirdly, CMCGAN can be trained end-to-end to achieve better convenience. Benefiting from CMCGAN, we develop a dynamic multimodal classification network to handle the modality missing problem. Abundant experiments have been conducted and validate that CMCGAN obtains the state-of-the-art cross-modal visual-audio generation results. Furthermore, it is shown that the generated modality achieves comparable effects with those of original modality, which demonstrates the effectiveness and advantages of our proposed method.

연구 동기 및 목표

• 센서 고장이나 환경 간섭으로 인한 영상에서 시각 또는 청각 모달리티의 누락 문제를 해결한다.
• 시각과 청각 모달리티 간의 이중 방향 생성을 가능하게 하는 통합 딥 러닝 프레임워크를 개발한다.
• 교차 모달 생성 과정에서 시각과 청각 모달리티 간의 구조적 및 차원적 비대칭을 극복한다.
• 다중모달 영상 이해 작업에서 편의성과 성능 향상을 위해 엔드 투 엔드 훈련을 가능하게 한다.
• 결측 모달리티 조건 하에서의 하류 분류 성능 향상에 있어 생성된 모달리티의 유용성을 입증한다.

제안 방법

• 네 개의 하위 네트워크(청각-시각, 시각-청각, 청각-청각, 시각-시각)를 갖춘 사이클 GAN 아키텍처를 설계하여 폐쇄형 생성 사이클을 형성한다.
• 모달 특화 사전 확률을 모델링하고 청각 및 시각 특징 간의 차원 및 구조적 불일치를 해결하기 위해 정규분포를 가진 잠재 벡터를 도입한다.
• 모든 하위 네트워크에 걸쳐 공동 적대적 손실 함수를 적용하여 생성의 현실성과 사이클 구조의 일관성을 강화한다.
• 적대적 최적화를 사용해 전체 네트워크를 엔드 투 엔드로 훈련시켜 특징 표현과 생성 정밀도를 향상시킨다.
• 실제 세계의 모달리티 누락 시나리오를 다룰 수 있도록 훈련된 CMCGAN을 동적 다중모달 분류 네트워크에 통합한다.
• 재구성된 모달리티가 반대 방향 생성기를 통과했을 때 원본과 유사하게 유지되도록 사이클 일관성 손실을 활용한다.

실험 결과

연구 질문

• RQ1 통합 딥 생성 프레임워크가 시각과 청각 모달리티 간의 이중 방향 교차 모달 생성을 효과적으로 수행할 수 있는가?
• RQ2 시각과 청각 모달리티 간의 차원적 및 구조적 비대칭은 교차 모달 생성 과정에서 어떻게 효과적으로 해결될 수 있는가?
• RQ3 생성된 모달리티가 하류 영상 이해 작업에서 실제 모달리티를 얼마나 잘 대체할 수 있는가?
• RQ4 단계별 훈련과 비교해 사이클 GAN 프레임워크의 엔드 투 엔드 훈련이 생성 품질과 내구성 향상에 기여하는가?
• RQ5 한 모달리티가 누락되었을 때 생성된 모달리티가 다중모달 분류 성능 향상에 기여하는가?

주요 결과

• CMCGAN은 벤치마크 데이터셋에서 기존 방법들을 능가하는 최신 기술 수준의 교차 모달 시각-청각 생성 성능을 달성한다.
• 정성적 및 정량적 평가를 통해 생성된 청각 및 시각 모달리티가 실제 모달리티와 유사한 품질을 확보한다.
• 정규분포를 가진 잠재 벡터를 활용함으로써 모달리티 비대칭을 효과적으로 처리하여 안정적인 훈련과 고해상도 생성을 가능하게 한다.
• CMCGAN의 엔드 투 엔드 훈련은 대안적 훈련 전략 대비 향상된 생성 품질과 더 빠른 수렴을 이끌어낸다.
• CMCGAN로 강화된 동적 다중모달 분류 네트워크는 한 모달리티가 누락되었을 때에도 강력한 성능을 보이며, 생성 데이터의 실용적 유용성을 입증한다.
• 사이클 일관성 손실은 생성 샘플의 정밀도와 일관성을 크게 향상시켜 생성된 모달리티가 원본의 핵심 의미적 내용을 유지하도록 보장한다.