[논문 리뷰] Few-shot Autoregressive Density Estimation: Towards Learning to Learn Distributions

Scott Reed, Yutian Chen외 6명|arXiv (Cornell University)|2017. 10. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 40

한 줄 요약

이 논문은 신경망 주의 메커니즘과 메타학습을 자동회귀 모델에 통합하여 소수의 예시로도 밀도 추정을 가능하게 하는 Attention PixelCNN와 Meta PixelCNN를 제안한다. 생성 과정에서 지원 이미지에 주의를 기울임으로써 모델은 단지 몇 개의 예시로부터 시각적 개념을 추론할 수 있으며, Omniglot에서 최고 수준의 가능도를 달성하고, 명시적 지도 없이도 자연 이미지에서 고해상도 샘플을 생성한다.

ABSTRACT

Deep autoregressive models have shown state-of-the-art performance in density estimation for natural images on large-scale datasets such as ImageNet. However, such models require many thousands of gradient-based weight updates and unique image examples for training. Ideally, the models would rapidly learn visual concepts from only a handful of examples, similar to the manner in which humans learns across many vision tasks. In this paper, we show how 1) neural attention and 2) meta learning techniques can be used in combination with autoregressive models to enable effective few-shot density estimation. Our proposed modifications to PixelCNN result in state-of-the art few-shot density estimation on the Omniglot dataset. Furthermore, we visualize the learned attention policy and find that it learns intuitive algorithms for simple tasks such as image mirroring on ImageNet and handwriting on Omniglot without supervision. Finally, we extend the model to natural images and demonstrate few-shot image generation on the Stanford Online Products dataset.

연구 동기 및 목표

• 소수의 학습 예시로만 확률 분포를 학습해야 하는 소수의 예시 밀도 추정 문제에 도전한다.
• 표준 딥 네트워크가 소규모 데이터셋을 암기하는 경향이 있는 데서 비롯되는 한계를 극복한다.
• 메타학습과 주의 메커니즘이 자동회귀 모델에 통합되어 효과적이고 일반화 가능한 분포 사전 확률를 학습할 수 있는지 탐색한다.
• 모델이 분포를 학습하는 방식을 학습하는 프레임워크를 개발하여 인간과 유사한 소수의 예시로 시각적 개념을 습득하는 방식을 모방한다.
• 합성 데이터(Omniglot)와 실제 세계 이미지 데이터셋(Stanford Online Products) 모두에서 접근 방식의 효과성을 입증한다.

제안 방법

• 학습 가능한 주의 메커니즘을 사용하여 소수의 지원 이미지를 조건으로 하여 PixelCNN를 조정함으로써, 지원 세트의 관련 영역을 주시하도록 한다.
• 기울기 기반 적응을 통해 메타학습을 통합함: 모델 파라미터는 지원 세트의 로그 가능도에 대해 메타기울기 단계로 업데이트된다.
• 스탠포드 온라인 제품 데이터셋에서 다양한 해상도 스트림(8×8, 16×16, 32×32)을 사용한 다중 척도 아키텍처를 도입하여 이미지의 세부 사항을 다양한 척도에서 모델링한다.
• 자동회귀 가능도 최적화를 통해 모델을 훈련시키며, 각 픽셀은 이전 픽셀과 주의 메커니즘 또는 메타업데이트를 통한 지원 세트에 기반하여 조건부로 예측된다.
• 주의 기반 조건부 처리와 기울기 기반 메타업데이트를 하이브리드로 적용한 모델(Attention Meta PixelCNN)을 도입하지만, 독립적인 주의 모델에 비해 성능이 열 劣하다.
• 주의 가중치를 시각화하여 모델이 거울 반사나 글씨 스타일 복사와 같은 직관적인 생성 전략을 어떻게 학습하는지 분석한다.

실험 결과

연구 질문

• RQ1 자동회귀 모델에서 주의 메커니즘이 소수의 지원 이미지에서 관련 특징을 주시함으로써 효과적인 소수의 예시 밀도 추정을 가능하게 할 수 있는가?
• RQ2 기울기 기반 메타학습이 소수의 예시에서 빠르게 적응할 수 있도록 자동회귀 밀도 모델에 효과적으로 적용될 수 있는가?
• RQ3 주의와 메타학습을 통합하면, 각각의 방법을 별도로 사용할 때보다 소수의 예시 밀도 추정에서 성능 향상을 이룰 수 있는가?
• RQ4 고도로 시각적 다양성과 복잡한 배경을 가진 실제 세계 자연 이미지 데이터셋에 대해 모델의 일반화 능력은 어느 정도인가?
• RQ5 주의 가중치가 거울 반사나 글씨 스타일 복사와 같은 직관적인 인간 유사 알고리즘을 어느 정도 반영하는가?

주요 결과

• Attention PixelCNN는 4개의 지원 예시를 사용하여 Omniglot에서 최고 수준의 가능도를 달성했으며, 테스트 NLL는 0.066 nats/pixel이었다.
• 생성 과정에서 모델이 지원 이미지의 관련 영역에 주의를 기울이는 것이 주의 히트맵을 통해 확인되었으며, 이는 주목할 만한 특징과 일치했다.
• 스탠포드 온라인 제품 데이터셋에서, 주의 모델은 유사한 가능도 점수에도 불구하고 기준 모델보다 더 현실적인 샘플을 생성했으며, 질감과 색상 일관성이 뛰어났다.
• 스탠포드 온라인 제품 데이터셋에서 기준 PixelCNN의 가능도는 2.15 nats/dim, Attention PixelCNN는 2.14 nats/dim이었으며, 이는 정량적 성능 향상은 미미하지만 정성적 향상은 뚜렷하다는 것을 의미한다.
• Meta PixelCNN 또한 Omniglot에서 최고 수준의 가능도(0.068 nats/pixel)를 달성하여, 기울기 기반 메타학습이 밀도 추정에 효과적이라는 것을 입증했다.
• 시각적 분석을 통해 주의 메커니즘이 명시적 지도 없이도 거울 반사나 글씨 스타일 복사와 같은 직관적인 전략을 학습하는 것으로 나타났다.