[논문 리뷰] Multimodal Representation Learning using Deep Multiset Canonical Correlation

Krishna Somandepalli, Naveen Kumar외 2명|arXiv (Cornell University)|2019. 04. 03.

Face and Expression Recognition참고 문헌 26인용 수 21

한 줄 요약

이 논문은 다중 모odal 데이터 간의 비선형 상관관계를 공유 부분공간으로 최적화하여 다중 모달리티 간의 공분산 비율을 최대화하는 딥 러닝 프레임워크인 Deep Multiset Canonical Correlation Analysis (dMCCA)를 제안한다. 이 방법은 CCA 기반 접근법을 능가하고 노이즈가 있는 수기 숫자 인식에서 엔드 투 엔드 딥 러닝 모델과 유사한 성능을 보이며, 클래스 레이블 없이도 노이즈에 강건하고 효과적인 다중모달 표현 학습이 가능함을 보여준다.

ABSTRACT

We propose Deep Multiset Canonical Correlation Analysis (dMCCA) as an extension to representation learning using CCA when the underlying signal is observed across multiple (more than two) modalities. We use deep learning framework to learn non-linear transformations from different modalities to a shared subspace such that the representations maximize the ratio of between- and within-modality covariance of the observations. Unlike linear discriminant analysis, we do not need class information to learn these representations, and we show that this model can be trained for complex data using mini-batches. Using synthetic data experiments, we show that dMCCA can effectively recover the common signal across the different modalities corrupted by multiplicative and additive noise. We also analyze the sensitivity of our model to recover the correlated components with respect to mini-batch size and dimension of the embeddings. Performance evaluation on noisy handwritten datasets shows that our model outperforms other CCA-based approaches and is comparable to deep neural network models trained end-to-end on this dataset.

연구 동기 및 목표

• 기존 CCA 및 DCCA가 두 모달리티에 국한되어 있음을 고려해, 이를 다중 모달리티(N > 2)로 확장함으로써 그 제한을 해결한다.
• 클래스 레이블이 필요 없이 다중 모달리티 간의 비선형 관계를 포괄하는 딥 러닝 기반 방법을 개발한다.
• 대규모이고 복잡한 데이터셋에 대한 확장성을 확보하기 위해 미니배치를 통한 확률적 학습을 가능하게 한다.
• 다중 모달리티 간의 공분산과 내부 모달리티 간의 공분산을 동시에 최적화하여 표현 학습을 향상시키고, 신뢰성과 일반화 능력을 향상시킨다.
• dMCCA의 효과성을 합성 데이터 및 실제 노이즈가 있는 데이터셋(n-MNIST)에서 입증하며, 지도 학습 모델과 경쟁 가능한 성능을 보인다.

제안 방법

• dMCCA는 N개의 모달리티에서 공유된 저차원 임bedding 공간으로의 비선형 변환을 학습하기 위해 딥 신경망을 사용한다.
• 손실 함수는 다중 모달리티 간 공분산 대 내부 모달리티 간 공분산의 비율을 최대화하며, 이는 테스트-재테스트 신뢰도에서의 신뢰도 측정과 유사하다.
• 대규모 데이터셋에서의 확장 가능한 학습을 위해 미니배치를 활용한 확률적 경사 하강법을 적용한다.
• 신호의 정밀도를 유지하기 위해 복원 손실을 사용하고, 모달리티 간 상관관계 평가를 위해 유사도 측정을 활용한다.
• 역전파를 통해 엔드 투 엔드로 학습되며, 공분산 행렬의 특이값에서 유도된 기울기를 사용한다.
• 유사도 메트릭을 사용해 모델을 평가한다: 복원 품질을 평가하는 내집합 유사도(Ra), 모달리티 간 상관관계를 평가하는 간집합 유사도(Rs).

실험 결과

연구 질문

• RQ1 공분산 비율을 최대화함으로써 두 개 이상의 모달리티 간에 공유 표현을 효과적으로 학습할 수 있는가?
• RQ2 노이즈가 있는 실제 다중모달 데이터에서 dMCCA는 지도 학습 및 비지도 학습 기반 기준 모델 대비 어떻게 성능을 내는가?
• RQ3 표현 품질 측면에서 dMCCA는 미니배치 크기와 임bedding 차원에 대해 얼마나 민감한가?
• RQ4 dMCCA는 선형 및 커널 기반 CCA 방법보다 비선형 공유 신호 성분을 더 잘 포착하는가?
• RQ5 클래스 레이블이 필요 없이 dMCCA는 엔드 투 엔드 지도 학습 딥 네트워크와 유사한 성능을 달성할 수 있는가?

주요 결과

• dMCCA는 tanh 활성화 함수를 사용할 때 간집합 유사도(Rs)가 0.82를 기록하여 지도 학습 기반 기준 모델(0.60)보다 유의미하게 높게 나타나, 학습된 표현 간의 모달리티 간 상관관계가 더 강하다는 것을 시사한다.
• dMCCA의 내집합 유사도(Ra)는 0.76으로 지도 학습 방법(0.84)보다 낮지만, 더 높은 Rs는 더 나은 공유 표현 품질을 의미한다.
• 합성 데이터에서 성능은 임bedding 차원 K=10에서 안정화되었으며, 이는 데이터 생성 시 사용된 진짜 공유 성분의 수와 일치한다.
• n-MNIST에서 dMCCA는 K>40일 때 87%의 정확도를 기록하여 선형 MCCA 및 DCCA를 능가했으며, 엔드 투 엔드 지도 학습 DNN과 통계적으로 유의미한 차이가 없었다.
• dMCCA 임bedding에 대한 클러스터링 분석 결과 NMI=0.72 및 완전성(completeness)=0.67를 기록하여 비지도 학습에서 양호한 선형 분리 가능성(선형 분리 가능성)을 보였다.
• 미니배치 크기가 400을 초과할 경우 일관된 성능을 보였으며, 이는 확률적 최적화의 안정성을 확인한다.