[논문 리뷰] SetVAE: Learning Hierarchical Composition for Generative Modeling of Set-Structured Data

Jinwoo Kim, Jaehoon Yoo외 2명|arXiv (Cornell University)|2021. 03. 29.

Generative Adversarial Networks and Image Synthesis인용 수 9

한 줄 요약

SetVAE는 다중 척도에서의 순서 불변 표현을 학습하기 위해 주목사용 블록 레이어를 사용하는 계층적 변동형 오토인코더를 제안한다. 이는 점군에서 최신 기술 수준의 생성 품질을 달성하면서도 매개변수 수를 크게 줄이고, 구조와 개수를 분리함으로써 예측되지 않은 집합의 크기로의 일반화를 가능하게 한다.

ABSTRACT

Generative modeling of set-structured data, such as point clouds, requires reasoning over local and global structures at various scales. However, adopting multi-scale frameworks for ordinary sequential data to a set-structured data is nontrivial as it should be invariant to the permutation of its elements. In this paper, we propose SetVAE, a hierarchical variational autoencoder for sets. Motivated by recent progress in set encoding, we build SetVAE upon attentive modules that first partition the set and project the partition back to the original cardinality. Exploiting this module, our hierarchical VAE learns latent variables at multiple scales, capturing coarse-to-fine dependency of the set elements while achieving permutation invariance. We evaluate our model on point cloud generation task and achieve competitive performance to the prior arts with substantially smaller model capacity. We qualitatively demonstrate that our model generalizes to unseen set sizes and learns interesting subset relations without supervision. Our implementation is available at https://github.com/jw9730/setvae.

연구 동기 및 목표

• 집합 구조 데이터에 대한 생성 모델링 문제를 해결하기 위해, 요소의 순서에 불변이어야 하고 변수적인 개수를 다룰 수 있어야 한다.
• 이전 모델들이 계층적 구조가 없고 복잡한 집합 내 요소 간 상호의존성을 다루기 어려운 한계를 극복하기 위해.
• 히ュ리스틱한 순서를 부여하지 않고도 다중 척도에서 분리된 표현을 지원하는 변동형 오토인코더 프레임워크를 개발하기 위해.
• 학습 중에 볼 수 없었던 집합 크기라도 추론 시에 일반화할 수 있도록 하기 위해.
• 예를 들어 점군에서의 의미적 부분과 같은 내재된 부분 구조를 감독 없이 발견하고 모델링하기 위해.

제안 방법

• SetVAE는 주목사용 블록 레이어(ABLs)를 사용하며, 주목기반으로 집합을 부분집합으로 분할하고 원래의 개수로 복원함으로써 계층적 처리를 가능하게 한다.
• 모델은 다중 수준의 잠재 변수를 가진 계층적 VAE 아키텍처를 사용하며, 각 수준은 입력 집합의 더 흐린 추상화를 나타낸다.
• 각 수준은 부분집합을 주목하고 요약하기 위해 학습 가능한 유도점들을 사용하며, 이는 척도 간의 군집적 추론을 가능하게 한다.
• 에코더는 다중 헤드 자기주목을 사용하여 주목 맵을 계산하여 점군에서 날개나 엔진과 같은 의미적으로 유의미한 부분을 식별한다.
• 디코더는 계층적 잠재 변수에 조건을 두고 요소를 생성하며, 주목 기반 메커니즘이 순서 불변성을 보장한다.
• 계층적 잠재 변수에 다중 모달 사전 확률을 사용하여 학습 안정성 향상과 생성 요소의 분리도 향상한다.

실험 결과

연구 질문

• RQ1 계층적 VAE는 순서 불변성을 유지하면서도 집합 구조 데이터에 대해 의미 있는 계층적 표현을 학습할 수 있는가?
• RQ2 고정된 크기의 집합으로 훈련된 생성 모델이 예측되지 않은 크기의 집합으로 일반화할 수 있는가?
• RQ3 감독 없이도 모델이 내재된 부분집합 구조(예: 물체의 부분)를 발견할 수 있는가?
• RQ4 단일 수준 VAE에 비해 계층적 잠재 변수를 통합함으로써 생성 품질과 분리도가 향상되는가?
• RQ5 요소 간 상호의존성이 중요한 고개수 설정에서 모델의 성능은 어떠한가?

주요 결과

• Set-MultiMNIST 데이터셋에서 64×64 렌더링된 이미지에 대해 SetVAE는 경쟁적인 Fréchet PointFlow 거리(FID) 점수 1047을 기록하며, 비계층적 및 단일 모달 사전 기반 모델을 능가한다.
• 모델은 2048점의 ShapeNet과 250점 미만의 Set-MNIST 데이터로만 훈련되었음에도 불구하고, 100에서 10,000개의 집합 크기로 일반화할 수 있다.
• 고개수 설정(10만 점)에서도 SetVAE는 날카운 구조적 세부 정보를 유지하지만, PointFlow는 독립적인 요소 모델링로 인해 흐릿하고 노이즈가 많은 경계를 보인다.
• 주목 맵의 시각화 결과에서 날개, 엔진, 다리와 같은 의미적으로 중요한 부분에 일관되게 주목하는 경향을 여러 샘플에서 관찰할 수 있어, 내재된 부분집합 구조의 발견을 시사한다.
• 잠재 공간 분석 결과, 하위 레이어는 위치 정보를 인코딩하고 상위 레이어는 형태 특징을 인코딩함을 확인하여, 계층적 수준 간의 생성 요소 분리도를 입증한다.
• 제거 실험 결과 계층적 구조와 다중 모달 사전 확률이 필수적임을 확인: 이들을 제거하면 FID가 각각 423(1470)과 218(1252) 증가한다.