[논문 리뷰] An Explicit Local and Global Representation Disentanglement Framework with Applications in Deep Clustering and Unsupervised Object Detection

Rujikorn Charakorn, Yuttapong Thawornwattana외 4명|arXiv (Cornell University)|2020. 01. 24.

Visual Attention and Saliency Detection참고 문헌 75인용 수 15

한 줄 요약

이 논문은 VAE 기반 프레임워크인 SPLIT을 제안하며, 입력 데이터의 보조적이고 뒤섞인 버전을 도입하여 일부 잠재 변수가 오직 국소적 특징만 모델링하도록 제약을 둠으로써, 국소적 및 전반적 표현을 명시적으로 분리한다. 이 방법은 모델이 부작위적인 국소적 상관관계를 무시하고 전반적 의미적 특징에 집중할 수 있도록 하여, 딥 클러스터링과 비지도 객체 탐지와 같은 후행 작업의 성능을 향상시킨다.

ABSTRACT

Visual data can be understood at different levels of granularity, where global features correspond to semantic-level information and local features correspond to texture patterns. In this work, we propose a framework, called SPLIT, which allows us to disentangle local and global information into two separate sets of latent variables within the variational autoencoder (VAE) framework. Our framework adds generative assumption to the VAE by requiring a subset of the latent variables to generate an auxiliary set of observable data. This additional generative assumption primes the latent variables to local information and encourages the other latent variables to represent global information. We examine three different flavours of VAEs with different generative assumptions. We show that the framework can effectively disentangle local and global information within these models leads to improved representation, with better clustering and unsupervised object detection benchmarks. Finally, we establish connections between SPLIT and recent research in cognitive neuroscience regarding the disentanglement in human visual perception. The code for our experiments is at https://github.com/51616/split-vae .

연구 동기 및 목표

• 딥 러닝에서 국소적 특징(예: 질감 또는 조명)으로부터 유사한 상관관계를 학습하는 표현의 뒤섞임 문제를 해결하기 위해.
• 변분 오토인코더 프레임워크 내에서 전반적(의미적) 및 국소적(질감/패턴) 표현을 명시적으로 분리하기 위해.
• 모델이 전반적이고 불변하는 특징에 집중할 수 있도록 함으로써, 비지도 클러스터링 및 객체 탐지와 같은 후행 작업의 성능을 향상시키기 위해.
• 기존 아키텍처에 크게 의존하지 않고 다양한 VAE 변종에 적용 가능한 일반적인, 아키텍처에 종속되지 않는 방법을 제공하기 위해.
• 제안된 표현 분리 메커니즘이 인간 시각 인지 과학 원리, 특히 선택적 주의와 불변성과 얼마나 잘 부합하는지 규명하기 위해.

제안 방법

• 보조 데이터 변환 도입: 입력 이미지에 무작위 뒤섞기 연산을 적용하여, 오직 국소 정보만 유지하는 새로운 관측 가능한 데이터 모odal인 $\hat{x}$를 생성한다.
• 이를 위해 $\hat{x}$를 재구성하는 별도의 VAE 브랜치를 훈련시켜, 해당 잠재 변수들이 오직 국소적 변형만 모델링하도록 유도한다.
• 원본 데이터 $x$와 뒤섞인 데이터 $\hat{x}$ 양쪽에 대해 동일한 전반적 인코더를 사용하여 공유된 전반적 표현을 생성함으로써, 전반적 특징이 공유되도록 보장한다.
• 잠재 변수의 일부가 국소 패턴을 캡처하도록 유도하기 위해, $\hat{x}$ 생성 과정을 해당 잠재 변수에 조건화함으로써 표현 분리의 편향을 부여한다.
• 세 가지 VAE 변종인 일반 VAE, GMVAE, SPAIR에 SPLIT 프레임워크를 통합하여, 다양한 아키텍처에서의 효과를 평가한다.
• 원본 데이터 $x$와 뒤섞인 데이터 $\hat{x}$에 대한 재구성 손실, 그리고 잠재 공간에 대한 사전 가정을 강제하는 KL 발산 항을 포함하는 공동 목적 함수를 최적화한다.

실험 결과

연구 질문

• RQ1 국소적 및 전반적 표현의 명시적 분리가 딥 생성 모델의 표현 품질을 향상시킬 수 있는가?
• RQ2 SPLIT 프레임워크가 전반적 의미적 특징에 집중하도록 유도함으로써 비지도 클러스터링 작업의 성능을 향상시키는가?
• RQ3 국소적 및 전반적 특징의 분리가 비지도 객체 탐지의 학습 속도와 정확도 향상에 기여하는가?
• RQ4 아키텍처 유연성과 성능 측면에서 기존 인덕티브 바이어스 방법과 비교해 SPLIT 프레임워크는 어떻게 다른가?
• RQ5 SPLIT 프레임워크는 특히 선택적 주의와 불변성과 관련된 인간 시각 인지 원리와 어느 정도 부합하는가?

주요 결과

• SPLIT-VAE는 생성 샘플의 시각적 점검과 스타일 전이의 정성적 분석을 통해 국소적 및 전반적 특징의 성공적인 분리를 확인하였다.
• SPLIT-GMVAE는 SVHN 데이터셋에서 표준 GMVAE보다 더 나은 클러스터링 성능을 달성하였으며, 클러스터는 숫자의 정체성과 기타 전반적 속성과 대응하였다.
• SPLIT-GMVAE에 의해 클러스터링된 CelebA 데이터는 성별과 얼굴 방향에 기반한 의미 있는 군집을 보였으며, 효과적인 전반적 표현 학습을 시사하였다.
• SPAIR 기반의 비지도 객체 탐지 작업에서 SPLIT는 객체 수 계산 정확도를 크게 향상시키고 학습 속도를 가속화하였으며, 이는 모델이 전반적 객체 특징에 집중하도록 유도했기 때문이다.
• SPLIT 프레임워크는 주요 아키텍처 변경 없이 다양한 VAE 아키텍처에 적용 가능하여 광범위한 호환성을 보였다.
• 이 방법은 질감 및 조명 변화와 같은 국소적 간섭 요소에 대해 강건성을 향상시켜 더 일반화되고 해석 가능한 표현을 만들어냈다.