[논문 리뷰] Uncertainty-Aware Multi-View Representation Learning

Yu Geng, Zongbo Han외 2명|arXiv (Cornell University)|2022. 01. 15.

Domain Adaptation and Few-Shot Learning참고 문헌 27인용 수 4

한 줄 요약

이 논문은 변동형 불확실성 인식 네트워크(DUA-Nets)를 제안한다. 이는 변동형 오토인코더 스타일의 재구성에서 유도된 표본별 불확실성 추정치를 기반으로 시각을 동적으로 가중치를 매기는, 새로운 비지도 다시보기 표현 학습 프레임워크이다. 재구성 분산의 산물로 시각별 불확실성을 모델링하여, DUA-Nets는 노이즈가 있는 시각을 적극적으로 억제하고 강건성을 향상시키며, 다양한 벤치마크에서 최신 기술 수준의 성능을 달성하며 노이즈에 대한 뛰어난 내성을 보인다.

ABSTRACT

Learning from different data views by exploring the underlying complementary information among them can endow the representation with stronger expressive ability. However, high-dimensional features tend to contain noise, and furthermore, the quality of data usually varies for different samples (even for different views), i.e., one view may be informative for one sample but not the case for another. Therefore, it is quite challenging to integrate multi-view noisy data under unsupervised setting. Traditional multi-view methods either simply treat each view with equal importance or tune the weights of different views to fixed values, which are insufficient to capture the dynamic noise in multi-view data. In this work, we devise a novel unsupervised multi-view learning approach, termed as Dynamic Uncertainty-Aware Networks (DUA-Nets). Guided by the uncertainty of data estimated from the generation perspective, intrinsic information from multiple views is integrated to obtain noise-free representations. Under the help of uncertainty, DUA-Nets weigh each view of individual sample according to data quality so that the high-quality samples (or views) can be fully exploited while the effects from the noisy samples (or views) will be alleviated. Our model achieves superior performance in extensive experiments and shows the robustness to noisy data.

연구 동기 및 목표

• 다양한 노이즈 수준과 품질을 가진 표본 및 시각 간의 다시보기 표현 학습에서 비지도 설정에서의 다시보기 표현 학습에 있어, 다양한 노이즈 수준과 품질을 가진 표본 및 시각 간의 통합 문제를 해결하기 위해.
• 고정되거나 동일한 가중치를 사용하는 대신, 표본별로 고품질 시각에 더 높은 중요도를 자동으로 할당하는 방법을 개발하기 위해.
• 레이블이 필요 없이 생성 모델의 재구성 분산을 사용하여 자기지도 방식으로 데이터 불확실성을 추정하기 위해.
• 불확실성 추정과 표현 학습을 하나의 종단 간 프레임워크로 통합하여, 양쪽 모두가 상호 보완적으로 향상되도록 하기 위해.

제안 방법

• DUA-Nets는 공유된 잠재 표현에서 각 시각을 재구성하기 위해 반전 네트워크(R-Nets)를 사용하여 표현 학습과 불확실성 추정을 공동으로 학습한다.
• 각 시각에 대해 R-Net은 정규분포의 평균과 분산을 출력하며, 이 분산이 해당 시각에 대한 불확실성 추정치로 기능한다.
• 불확실성은 표현 학습 중에 시각을 동적으로 가중치를 매기는데 사용되며, 낮은 불확실성(더 높은 품질)의 시각에 더 큰 영향을 미친다.
• 모델은 재구성 손실과 불확실성 기반 가중치를 함께 최적화하여 표현 품질 향상과 불확실성 추정 향상 간의 상호 보완적 향상을 이룬다.
• 협업 학습 메커니즘이 불확실성 추정이 표현 학습을 이끄는 것과 반대로 표현 학습이 불확실성 추정을 이끄는 것을 보장하여 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 재구성 분산에서 유도된 불확실성 추정이 다시보기 표현 학습에서 동적 시각 가중치를 효과적으로 이끌 수 있는가?
• RQ2 비지도 설정에서 불확실성 모델링이 노이즈가 있는 시각에 대한 강건성을 어떻게 향상시키는가?
• RQ3 감독 없이도 불확실성 기반으로 깨끗한 샘플과 노이즈가 있는 샘플을 구분할 수 있는가?
• RQ4 불확실성 추정의 통합이 학습된 표현의 품질과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• DUA-Nets는 불확실성 모델링 없이 표준 R-Nets보다 클러스터링 작업에서 더 뛰어난 성능을 보이며, 불확실성이 표현 품질 향상에 기여함을 입증한다.
• 기준 R-Nets는 노이즈 강도가 증가함에 따라 성능이 크게 떨어지는 반면, DUA-Nets는 높은 노이즈 강도에서도 안정적인 성능을 유지하여 뛰어난 강건성을 보인다.
• 불확실성 추정치는 데이터 품질의 차이를 효과적으로 포착한다: 더 높은 노이즈 비율일수록 불확실성이 증가하며, 이는 합성적으로 주입된 노이즈일지라도 마찬가지다.
• 모델의 불확실성 추정은 50%의 샘플이 노이즈에 의해 손상된 상황에서도 안정적이고 유의미한 상태를 유지하여 강력한 일반화 능력을 보인다.
• 최적의 성능은 잠재 차원 수 50에서 달성되며, 이는 과소 또는 과도한 파arameterization이 성능 저하를 초래함을 보여준다.