[논문 리뷰] Generalized K-fan Multimodal Deep Model with Shared Representations

Gang Chen, Sargur N. Srihari|arXiv (Cornell University)|2015. 03. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 18인용 수 5

한 줄 요약

이 논문은 공유된 깊은 표현을 통해 다수의 입력과 출력을 처리할 수 있도록 2-팬 아키텍처를 일반화한 K-팬 딥 다중모odal 모델을 제안한다. 사전 훈련에는 대trastive divergence를, 분류적 미세조정에는 backpropagation를 사용하여, 공동 시각 복원 및 레이블링, 다중 시야 다중 클래스 객체 인식에서 최신 기술 수준의 성능을 달성하며, 다중모달 DBM 및 SVM 기준선을 능가한다.

ABSTRACT

Multimodal learning with deep Boltzmann machines (DBMs) is an generative approach to fuse multimodal inputs, and can learn the shared representation via Contrastive Divergence (CD) for classification and information retrieval tasks. However, it is a 2-fan DBM model, and cannot effectively handle multiple prediction tasks. Moreover, this model cannot recover the hidden representations well by sampling from the conditional distribution when more than one modalities are missing. In this paper, we propose a K-fan deep structure model, which can handle the multi-input and muti-output learning problems effectively. In particular, the deep structure has K-branch for different inputs where each branch can be composed of a multi-layer deep model, and a shared representation is learned in an discriminative manner to tackle multimodal tasks. Given the deep structure, we propose two objective functions to handle two multi-input and multi-output tasks: joint visual restoration and labeling, and the multi-view multi-calss object recognition tasks. To estimate the model parameters, we initialize the deep model parameters with CD to maximize the joint distribution, and then we use backpropagation to update the model according to specific objective function. The experimental results demonstrate that the model can effectively leverages multi-source information and predict multiple tasks well over competitive baselines.

연구 동기 및 목표

• 기존의 2-팬 다중모달 모델이 다수의 예측 작업이나 다수의 손실된 모odal을 효과적으로 처리할 수 없는 한계를 해결하기 위해.
• 이미지, 텍스트, 영상과 같은 K개의 다른 입력 모달 간의 공유 표현을 학습할 수 있는 유연한 딥 아키텍처를 개발하기 위해.
• 통합된 K-팬 구조를 통해 데이터 복원 및 분류와 같은 다중 작업의 공동 학습을 가능하게 하고, 분류적 미세조정을 통해 이를 실현하기 위해.
• 공유 표현 계층을 통해 다중 소스 정보를 활용하여, 노이즈가 많거나 불완전한 데이터 상황에서도 다중모달 학습의 강건성과 성능을 향상시키기 위해.

제안 방법

• 모델은 K개의 별도 브랜치를 갖는 K-팬 딥 구조를 사용하며, 각 브랜치는 DBN, CNN, LSTM 등의 딥 모델을 사용해 서로 다른 모달을 처리한다.
• 공유된 은닉층은 모든 모달 간의 공동 표현을 학습하여 다중모달 융합 및 공동 추론을 가능하게 한다.
• 모델 파라미터는 관측된 입력의 공동 가능도를 최대화하기 위해 대trastive divergence(CD)를 사용해 초기화된다.
• 미세조정은 공동 손실(복원 및 레이블링용) 또는 다중 시야 인식용 분류 손실과 같은 작업별 목적 함수를 사용해 backpropagation으로 수행된다.
• 다중 작업 학습 또는 다중 소스 분류에 적합한 탄력적인 목적 함수를 지원하여 다양한 다중모달 문제에의 적응을 가능하게 한다.
• 추론은 전방향 전파를 통해 수행되어 일부 입력이 누락된 경우에도 다수의 출력에 대해 효율적인 예측이 가능하다.

실험 결과

연구 질문

• RQ1 일반화된 K-팬 딥 모델은 다수의 입력 모달과 다수의 출력 예측 작업을 동시에 효과적으로 처리할 수 있는가?
• RQ2 추론 시 다수의 모달이 누락되었을 경우, 모델은 어떻게 숨겨진 표현을 복원하는가?
• RQ3 분류적 미세조정 프레임워크 내에서 공유 표현을 사용할 경우, 생성적 모델에 비해 공동 복원 및 레이블링 작업에서 성능 향상이 이루어지는가?
• RQ4 다중 시야 정보를 통합할 경우, 다중 클래스 객체 인식 작업에서 분류 정확도는 어느 정도 향상되는가?

주요 결과

• 매우 손상된 MNIST 숫자 데이터셋에서 제안된 방법은 PSNR 18.6 dB, 오류율 12.7%를 기록하여 Wiener(11.7 dB, 58.5%), RoBM(13.9 dB, 52.6%), DAE(13.58 dB, 35.9%) 기준선을 크게 능가했다.
• 유형 2 노이즈가 있는 USPS 알파벳 데이터셋에서 모델은 PSNR 19.6 dB, 오류율 32.8%를 기록하여 Wiener(14.2 dB, 67.8%), RoBM(16.3 dB, 62.8%), DAE(19.2 dB, 42.5%) 방법을 초월했다.
• 다중 시야 다중 클래스 객체 인식에서 모델은 오류율 4.80%를 기록하여 SVM(다중 시야 없음, 9.59%), SVM(다중 시야 있음, 6.92%), 다중모달 DBM(7.10%)를 모두 능가했다.
• 결과는 분류적 미세조정 단계가 생성적 사전 훈련 단계만으로는 성능 향상이 크게 이뤄지지 않는다는 점을 보여주며, 특히 분류 및 노이즈 제거 작업에서 두드러진 향상을 보였다.
• 모델는 다중 소스 정보를 효과적으로 활용하며, 추가적인 카메라 시야 데이터가 분류 정확도 향상에 기여함을 보여주어 다중 시야 입력의 유용성을 입증했다.