[논문 리뷰] Learning Robust Representations via Multi-View Information Bottleneck

Marco Federici, Anjan Dutta외 3명|arXiv (Cornell University)|2020. 02. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 83

한 줄 요약

이 논문은 정보 병목을 비지도 다중 뷰 학습으로 확장하여 공유되지 않는 뷰 정보를 버리고 견고성을 향상시키는 Multi-View Information Bottleneck (MIB)을 제안하고, Sketchy와 MIR-Flickr에서 저표본 상태에서 최첨단 결과를 달성하며 데이터 증강을 통한 단일 뷰 견고성도 강하게 보인다.

ABSTRACT

The information bottleneck principle provides an information-theoretic method for representation learning, by training an encoder to retain all information which is relevant for predicting the label while minimizing the amount of other, excess information in the representation. The original formulation, however, requires labeled data to identify the superfluous information. In this work, we extend this ability to the multi-view unsupervised setting, where two views of the same underlying entity are provided but the label is unknown. This enables us to identify superfluous information as that not shared by both views. A theoretical analysis leads to the definition of a new multi-view model that produces state-of-the-art results on the Sketchy dataset and label-limited versions of the MIR-Flickr dataset. We also extend our theory to the single-view setting by taking advantage of standard data augmentation techniques, empirically showing better generalization capabilities when compared to common unsupervised approaches for representation learning.

연구 동기 및 목표

• 한정되거나 전혀 라벨이 없는 상황에서 다중 뷰 중복성을 활용한 강건한 표현 학습 동기 부여.
• 정보 병목 원리를 비지도 다중 뷰 설정으로 확장.
• 각 뷰 간 공유되는 예측 내용을 보존하면서 불필요한 정보를 최소화하는 계산 가능한 목적 함수 개발.
• 뷰 간의 상호 중복성이 일반화와 강건성을 향상시킨다는 것을 보임.

제안 방법

• 뷰 간 중복성을 정의하고 다중 뷰 정보 병목 목적 함수를 도출한다.
• 최소 충분한 표현과 뷰 인코더 간 대칭화된 KL 발산을 결합한 대칭 손실을 형식화한다.
• 샘플 기반 상호 정보 추정기를 사용해 뷰 간 유사성을 최대화한다.
• 공유되는 여백을 갖는 데이터 증강을 통해 자가 지도 학습의 단일 뷰 학습으로 확장한다.
• 뷰가 주변확률을 공유하면 인코더 간 파라미터 공유를 허용하여 실질적으로 단일 인코더를 사용할 수 있다.
• 충분성과 강건성 사이의 trade-off를 조정하는 beta 매개변수로 MIB 손실을 계산하는 알고리즘적 단계를 제공한다.

실험 결과

연구 질문

• RQ1 무상훈 다중 뷰 학습에서 상호 중복성으로 불필요한 정보가 줄어들면서 예측력은 유지되는 표현을 얻을 수 있는가?
• RQ2 MIB 목적이 두 뷰가 공유하지 않는 뷰 고유 정보를 버려 강건성을 달성할 수 있는가?
• RQ3 표준 다중 뷰 데이터셋에서 저표본 규칙에서 기존 베이스라인과 비교해 MIB의 성능은 어떠한가?
• RQ4 데이터 증강 기반의 자가 지도 학습이 상호 중복성을 재현하고 단일 뷰의 강건성을 개선할 수 있는가?

주요 결과

• MIB는 Sketchy에서 mAP@all = 0.856 및 Prec@200 = 0.848 (β = 1, 64-bit representation)로 강한 성능을 달성한다.
• MIR-Flickr에서 MIB는 특히 저레이블 규칙에서 경쟁력 있는 평균 순위 정확도를 달성하며, 라벨이 부족할 때 여러 베이스라인을 능가한다.
• β가 더 큰 MIB는 희소 표본 설정에서 더 공격적인 압축을 강제하면서도 예측 정보를 보유하여 성능을 개선한다.
• 모델은 대칭화된 KL 항을 통해 뷰 간 표현 정렬을 맞춰 크로스 뷰 검색 및 분류의 강건성에 기여한다.
• MNIST에 대한 자가 지도 단일 뷰 실험은 관찰 정보의 더 많은 버려진 표현이 더 적은 라벨 예제에서 더 잘 작동함을 보여주며, β가 약 1일 때 라벨 효율적 성능을 얻는다.
• 다양한 작업에서 MIB는 일관되게 불필요한 정보를 줄이고 뷰 간 공유되는 예측 내용을 보존한다.