[논문 리뷰] Learning Disentangled Representations via Mutual Information Estimation

Eduardo Hugo Sanchez, Mathieu Serrurier외 1명|arXiv (Cornell University)|2019. 12. 09.

Adversarial Robustness in Machine Learning참고 문헌 24인용 수 11

한 줄 요약

이 논문은 재구성 또는 생성 없이 쌍체 이미지에서 분리된 표현을 학습하기 위해 이중 단계 상호정보 추정 방법을 제안한다. 공유 특징에 대한 교차 상호정보를 최대화하고, 공유-독립 상호정보를 적대적으로 최소화함으로써 모델은 최신 기술 수준의 분리도를 달성하며, Sentinel-2 위성 영상 포함한 합성 및 실재 데이터셋에서 이미지 분류 및 검색 작업에서 VAE/GAN 기반 베이스라인을 능가한다.

ABSTRACT

In this paper, we investigate the problem of learning disentangled representations. Given a pair of images sharing some attributes, we aim to create a low-dimensional representation which is split into two parts: a shared representation that captures the common information between the images and an exclusive representation that contains the specific information of each image. To address this issue, we propose a model based on mutual information estimation without relying on image reconstruction or image generation. Mutual information maximization is performed to capture the attributes of data in the shared and exclusive representations while we minimize the mutual information between the shared and exclusive representation to enforce representation disentanglement. We show that these representations are useful to perform downstream tasks such as image classification and image retrieval based on the shared or exclusive component. Moreover, classification results show that our model outperforms the state-of-the-art model based on VAE/GAN approaches in representation disentanglement.

연구 동기 및 목표

• 이미지 재구성 또는 생성 모델링에 의존하지 않고 쌍체 이미지에서 분리된 표현을 학습하는 것.
• 이미지 쌍 간에 공통인 공유 특징(attribute)과 각각 고유한 독립 특징(attribute)을 분리하는 것.
• 분리된 구성요소를 사용하여 이미지 분류 및 검색과 같은 후행 작업의 성능을 향상시키는 것.
• VAE나 GAN과 같은 재구성 또는 생성 기반 모델의 계산 비용을 줄이는 대안을 개발하는 것.
• 라벨이 제한된 실세계 데이터, 예를 들어 위성 영상 분석과 같은 환경에서의 효과성을 입증하는 것.

제안 방법

• 이중 단계 학습 절차: 첫 번째 단계에서는 쌍체 이미지 간의 교차 상호정보 최대화를 통해 공유 표현을 학습한다.
• 두 번째 단계에서는 개별 이미지와의 상호정보를 최대화하면서 공유 표현과의 상호정보를 최소화함으로써 독립 표현을 학습한다.
• 공유 표현과 독립 표현 간의 상호정보를 최소화하기 위해 적대적 목적함수를 도입하여 분리도를 강화한다.
• 지역 및 전역 통계 네트워크를 사용하여 상호정보를 추정함으로써 효과적인 최적화를 가능하게 한다.
• 공유 특징가 독립 정보를 흡수하는 것을 방지하기 위해 스위치된 공유 표현(Switched Shared Representations, SSR)을 사용한다.
• 공유 및 독립 표현 학습을 위한 전역 및 국소 상호정보 항목을 포함하는 손실 함수를 사용한다.

실험 결과

연구 질문

• RQ1 이미지 재구성 또는 생성 없이 상호정보 추정만으로도 분리된 표현을 학습할 수 있는가?
• RQ2 교차 상호정보 최대화가 쌍체 이미지 간의 공통 특징을 얼마나 효과적으로 포착하는가?
• RQ3 공유-독립 상호정보의 적대적 최소화가 표현의 분리도를 향상시키는가?
• RQ4 제안된 방법이 VAE/GAN 기반 최신 기술 수준 모델보다 분리도 성능에서 뛰어나게 되는가?
• RQ5 라벨이 적고 레이블이 없는 데이터가 많은 환경, 예를 들어 위성 영상 분석과 같은 상황에서 모델이 효과적인가?

주요 결과

• Sentinel-2 데이터에서 공유 표현을 사용해 EuroSAT 이미지 분류에서 93.11%의 정확도를 달성하여, VAE(87.64%)와 VAE-GAN(92.38%) 베이스라인을 모두 능가한다.
• 제거 실험을 통해 스위치된 공유 표현(SSR)이 독립 정보가 공유 특징에 유출되는 것을 방지하는 데 핵심적임을 확인하였다.
• β^sh = 0(국소 상호정보 항목)으로 설정할 경우 공유 특징 분류 정확도가 심각하게 하락하여 이 항목의 중요성을 입증한다.
• 민감도 분석 결과 λ_adv = 0.025가 최적의 분리도를 제공하며, 이보다 높은 값은 독립 특징 분류 성능을 떨어뜨린다.
• 교차 상호정보 목적함수를 통해 상호정보 기반으로 픽셀 단위의 거리 측정이 가능해졌으며, 이는 비지도 세그멘테이션 및 객체 탐지에 유망한 가능성을 보여준다.
• 색상 MNIST, 3D Shapes, IAM 손글씨 및 Sentinel-2 데이터셋에서 분류 및 검색 작업을 통해 최신 기술 수준의 VAE/GAN 기반 모델을 능가하는 표현의 분리도를 달성하였다.