[논문 리뷰] Deep Partial Multi-View Learning

Changqing Zhang, Yajie Cui외 4명|arXiv (Cornell University)|2020. 11. 12.

Domain Adaptation and Few-Shot Learning인용 수 22

한 줄 요약

이 논문은 적대적 훈련과 비모수적 분류 손실을 사용하여 다중 시각 데이터에서 완전하고 유연한 잠재 표현을 동시에 학습하고 누락된 시각을 보정하는 딥러닝 프레임워크인 크로스 파트리얼 다중시각 네트워크(CPM-Nets)를 제안한다. 이 방법은 복잡한 시각 누락 상황에서도 분류, 표현 학습, 데이터 보정에서 최신 기술 수준의 성능을 달성하며, 50% 누락 비율에서 기준 모델 대비 NMI에서 최대 5.11% 향상되고 ACC에서 최대 3.36% 향상된다.

ABSTRACT

Although multi-view learning has made signifificant progress over the past few decades, it is still challenging due to the diffificulty in modeling complex correlations among different views, especially under the context of view missing. To address the challenge, we propose a novel framework termed Cross Partial Multi-View Networks (CPM-Nets), which aims to fully and flflexibly take advantage of multiple partial views. We fifirst provide a formal defifinition of completeness and versatility for multi-view representation and then theoretically prove the versatility of the learned latent representations. For completeness, the task of learning latent multi-view representation is specififically translated to a degradation process by mimicking data transmission, such that the optimal tradeoff between consistency and complementarity across different views can be implicitly achieved. Equipped with adversarial strategy, our model stably imputes missing views, encoding information from all views for each sample to be encoded into latent representation to further enhance the completeness. Furthermore, a nonparametric classifification loss is introduced to produce structured representations and prevent overfifitting, which endows the algorithm with promising generalization under view-missing cases. Extensive experimental results validate the effectiveness of our algorithm over existing state of the arts for classifification, representation learning and data imputation.

연구 동기 및 목표

• 임의의 복잡한 시각 누락 패tern을 가진 다중 시각 데이터로부터 강력하고 완전하며 다재다능한 표현을 학습하는 문제에 대응한다.
• 기존 방법들이 완전한 시각을 가정하거나 고정된 그룹화 전략에 의존하는 한계를 극복하여, 고차원 또는 불완전한 시각 구성 조건에서도 더 유연한 접근을 가능하게 한다.
• 보정된 표현의 완전성을 향상시키기 위해 시각 보정을 열악한 과정으로 모델링하고 적대적 훈련을 통해 안정화한다.
• 클러스터링 유사 비모수적 분류 손실을 통해 학습된 표현의 일반화 능력과 분리 가능성 향상.
• 누락 패턴에 관계없이 모든 샘플과 시각을 동시에 활용할 수 있도록 하여, 실제 데이터의 불완전한 모odal 조건에 적응 가능하도록 보장한다.

제안 방법

• 데이터 전송 유사성에 기반한 이론적 프레임워크를 통해 다중 시각 표현의 완전성과 다용도성을 정식화하고, 표현 학습을 열악한 과정으로 모델링하여 일致성과 보완성의 균형을 맞춘다.
• 생성자 네트워크가 관측된 시각들로부터 누락된 시각을 재구성하도록 하는 적대적 전략을 도입하고, 판별자 네트워크가 현실적인 보정 결과를 강제함으로써 표현 품질을 안정화하고 향상시킨다.
• 클러스터링 구조를 가진 표현을 장려하는 비모수적 분류 손실을 활용하여, 특히 시각 누락 조건 하에서도 분리 가능성과 일반화 능력을 향상시킨다.
• 모든 관측된 시각들을 통합된 잠재 공간으로 매핑하기 위해 공유 인코더를 사용하여, 모든 샘플과 시각 조합 간의 공동 최적화를 가능하게 한다.
• 훈련 중에 시각 누락을 시뮬레이션하기 위해 열악화 전략을 적용하여, 모델이 불완전한 입력으로부터 정보를 재구성하고 인코딩하는 것을 암묵적으로 학습할 수 있도록 한다.
• 재구성 손실(보정 목적), 대비 손실(표현 학습 목적), 비모수적 분류 손실(표현의 구조성 및 일반화 목적)의 조합을 통해 모델을 엔드 투 엔드로 훈련한다.

Figure 1: Illustration of Cross Partial Multi-View Networks for classification. Given multi-view data with missing views (black blocks), the encoding 2 2 2 Since we employ a backward encoding strategy which encodes the information from multiple views into latent representations, it can be considered

실험 결과

연구 질문

• RQ1 임의의 시각 누락 패턴을 가진 다중 시각 데이터로부터 완전하고 다용도적인 잠재 표현을 동시에 학습할 수 있는 딥러닝 프레임워크는 가능한가?
• RQ2 적대적 훈련은 누락된 시각의 보정 품질을 어떻게 향상시키며, 이를 통해 학습된 표현의 완전성과 일반화 능력을 어떻게 향상시키는가?
• RQ3 비모수적 분류 손실은 편향 다중시각 학습에서 잠재 표현의 구조성과 분리 가능성에 얼마나 기여하는가?
• RQ4 중대한 시각 누락 조건 하에서 제안된 CPM-Nets 프레임워크는 분류, 표현 학습, 데이터 보정 측면에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 냈는가?
• RQ5 완전한 시각 훈련 데이터가 필요 없이 자연스럽게 발생하는 부분 다중시각 데이터셋에 효과적으로 일반화될 수 있는가?

주요 결과

• CPM-GAN은 모든 6개 데이터셋에서 비교적 모든 방법보다 뛰어난 시각 보정 성능를 보이며, 모든 누락 비율에서 가장 낮은 NRMSE 기록하여 적대적 보정 전략의 효과를 입증한다.
• 평균적으로 CPM-GAN은 50% 누락 비율에서 두 번째로 우수한 방법 대비 정확도에서 3.36% 향상되고 NMI에서 5.11% 향상되어 뛰어난 강건성과 일반화 능력을 보여준다.
• 절단 실험 결과 CPM-GAN은 고도의 누락 비율에서도 CPM-without-GAN보다 항상 뛰어나며, 적대적 훈련이 보정 및 표현 품질 향상에 기여함을 증명한다.
• 비모수적 분류 손실은 더 구조화되고 분리 가능한 표현을 유도하여, 특히 데이터가 적은 환경에서 모델의 해석 가능성과 성능을 향상시킨다.
• 작은 양의 완전한 시각 데이터가 필요한 VIGAN과 비교해도 CPM-Nets는 이중 시각 데이터셋(CUB 및 Animal)에서 더 뛰어난 클러스터링 성능를 기록하여, 완전히 비지도 설정에서의 우수성을 입증한다.
• 합성 데이터셋과 실제 자연계 부분 다중시각 데이터셋 모두에서 강력한 성능 유지를 보이며, 복잡한 실제 세계의 시각 누락 패턴에 대한 적응 능력을 확인한다.

Figure 2: Illustration of CPM-Nets for unsupervised learning. The latent representation learning and missing data imputation equipped with adversarial strategy (CPM-GAN) are jointly conducted to improve each other.