[논문 리뷰] SCHA-VAE: Hierarchical Context Aggregation for Few-Shot Generation

Giorgio Giannone, Ole Winther|arXiv (Cornell University)|2021. 10. 23.

Domain Adaptation and Few-Shot Learning참고 문헌 45인용 수 4

한 줄 요약

이 논문은 주어진 예시 수가 적은 환경에서 생성 성능을 향상시키기 위해 주어진 집합의 전반적 맥락을 주로 주의 기반, 순열 불변 집합 풀링을 통해 학습하는 계층적 변동형 오토인코더인 SCHA-VAE를 제안한다. 전역 및 국소 표현을 계층적으로 모델링함으로써, 테스트 시 미세조정 없이도 예측 불가능한 클래스와 다양한 집합 크기에 대해 효과적으로 일반화되며, 우수한 우도 및 샘플 품질을 달성한다.

ABSTRACT

A few-shot generative model should be able to generate data from a novel distribution by only observing a limited set of examples. In few-shot learning the model is trained on data from many sets from distributions sharing some underlying properties such as sets of characters from different alphabets or objects from different categories. We extend current latent variable models for sets to a fully hierarchical approach with an attention-based point to set-level aggregation and call our method SCHA-VAE for Set-Context-Hierarchical-Aggregation Variational Autoencoder. We explore likelihood-based model comparison, iterative data sampling, and adaptation-free out-of-distribution generalization. Our results show that the hierarchical formulation better captures the intrinsic variability within the sets in the small data regime. This work generalizes deep latent variable approaches to few-shot learning, taking a step toward large-scale few-shot generation with a formulation that readily works with current state-of-the-art deep generative models.

연구 동기 및 목표

• 최소한의 예시에서 일반화해야 하는 저데이터 환경에서의 소수의 예시 생성 문제를 해결하기 위해.
• 계층적 추론과 학습 가능한 집합화를 도입하여 집합에 대한 잠재 변수 모델의 표현력을 향상시키기 위해.
• 테스트 시 적응 없이도 예측 불가능한 클래스와 다양한 집합 기수에 대해 강건한 일반화를 가능하게 하기 위해.
• 현대 딥 러닝 생성 모델과 호환되는 확장 가능한, 순열 불변 아키텍처를 제공하기 위해.

제안 방법

• 입력 샘플의 주의 기반 풀링을 통해 학습된 집합 수준의 잠재 변수 c를 통해 전역 맥락을 모델링하는 계층적 VAE인 SCHA-VAE를 제안한다.
• 진행적이고 점진적인 방식으로 국소 샘플 특징과 전역 맥락을 통합하는 계층적 추론 메커니즘을 사용하여 표현 학습을 향상시킨다.
• 고정 풀링(예: 평균, 최대값)을 대체하기 위해 주의 기반 융합을 사용하는 학습 가능한 집합화 모듈을 적용한다.
• 순서가 없는 집합을 처리하기 위해 순열 불변 아키텍처를 도입하여 입력 순서에 관계없이 일관된 동작을 보장한다.
• 모델이 정의한 예측 및 주변 분포를 탐색하기 위해 반복적 샘플링 전략을 적용한다.
• 표준 VAE 구성 요소와 결합하여 최신 아키텍처 및 학습 절차와의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 학습 가능한 집합화를 갖춘 계층적 잠재 변수 모델이 비계층적 기준 모델에 비해 소수의 예시 생성 성능을 향상시킬 수 있는가?
• RQ2 모델은 미세조정 없이도 예측 불가능한 클래스와 다양한 집합 기수에 대해 얼마나 잘 일반화되는가?
• RQ3 집합 수준의 구조를 포괄하는 데 있어 주의 기반 집합화가 고정 풀링 메커니즘보다 얼마나 뛰어난가?
• RQ4 계층적 추론은 소수 데이터 환경에서 내재된 다양성을 더 잘 포착할 수 있는가?
• RQ5 제안된 프레임워크는 현대 VAE 아키텍처와 효과적으로 통합되어 생성 성능을 향상시킬 수 있는가?

주요 결과

• Omniglot 테스트 세트에서 SCHA-VAE는 집합 크기가 2에서 20으로 증가함에 따라 우도 점수가 단조롭게 향상되며 최고의 성능 기록을 보였다.
• 모든 집합 크기에서 계층적 추론과 학습 가능한 집합화 구성 요소가 비계층적 기준 및 고정 풀링 기준 모델을 일관되게 능가했다.
• 모델는 분포 외 클래스와 예측 불가능한 집합 기수에 대해 효과적으로 일반화되었으며, 강력한 소수의 예시 전이 능력을 보였다.
• 반복적 샘플링 전략은 개선된 다양성과 정확도를 드러내어 진정한 데이터 분포를 더 잘 모델링하고 있음을 시사했다.
• 주의 기반 집합화 메커니즘은 특히 이미지와 같은 복잡하고 고차원적인 데이터에서 평균 또는 최대 풀링보다 더 나은 맥락 표현을 가능하게 했다.
• SCHA-VAE는 최신 VAE 아키텍처와 강력한 호환성을 보이며 광범위한 적용 가능성을 보이고 향후 성능 향상 잠재력을 지닌다.