[논문 리뷰] Spatial Dependency Networks: Neural Layers for Improved Generative Image Modeling

Đorđe Miladinović, Aleksandar Stanić외 3명|arXiv (Cornell University)|2021. 03. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 8

한 줄 요약

이 논문은 공간적 일관성과 장거리 의존성을 순차적이고 게이트된 메커니즘을 통해 모델링함으로써 변분 오토에인코더(VAEs)에서 이미지 생성을 향상시키는 새로운 신경망 아키텍처인 공간적 의존성 네트워크(SDNs)를 소개한다. SDN 디코더는 특히 비자기적 설정에서 기존의 컨볼루션 기반 아키텍처에 비해 로그우도 성능과 분리된 표현 학습을 크게 향상시킨다.

ABSTRACT

How to improve generative modeling by better exploiting spatial regularities and coherence in images? We introduce a novel neural network for building image generators (decoders) and apply it to variational autoencoders (VAEs). In our spatial dependency networks (SDNs), feature maps at each level of a deep neural net are computed in a spatially coherent way, using a sequential gating-based mechanism that distributes contextual information across 2-D space. We show that augmenting the decoder of a hierarchical VAE by spatial dependency layers considerably improves density estimation over baseline convolutional architectures and the state-of-the-art among the models within the same class. Furthermore, we demonstrate that SDN can be applied to large images by synthesizing samples of high quality and coherence. In a vanilla VAE setting, we find that a powerful SDN decoder also improves learning disentangled representations, indicating that neural architectures play an important role in this task. Our results suggest favoring spatial dependency over convolutional layers in various VAE settings. The accompanying source code is given at https://github.com/djordjemila/sdn.

연구 동기 및 목표

• 이미지의 공간 규칙성과 일관성에 기반한 인덕티브 바이어스를 통합하여 생성적 이미지 모델링을 향상시키기 위해.
• 표준 컨볼루션 레이어가 특징 맵에서 장거리 공간적 의존성과 공간 일관성을 포착하는 데에 한계가 있음을 해결하기 위해.
• 디코더의 아키텍처 개선이 VAE에서 분리된 표현 학습을 향상시킬 수 있는지 조사하기 위해.
• 실제 및 합성 데이터셋에서 계층적 및 비계층적 VAE 설정 모두에서 SDN의 효과성을 평가하기 위해.
• SDN이 다양한 이미지 생성 및 표현 학습 작업에서 성능 향상에 기여할 수 있는 플러그인 모듈로 사용될 수 있음을 보여주기 위해.

제안 방법

• SDN은 2차원 공간 위치를 통해 특징 맵을 정교화하는 순차적이고 게이트된 메커니즘을 도입하여, 층을 거쳐 맥락 정보를 전파함으로써 공간 일관성을 보장한다.
• 각 SDN 레이어는 공간적 근접성과 유사성에 기반해 공유된 학습 가능한 결정론적 함수를 사용하여 특징 벡터의 조건부 보정을 계산한다.
• 아키텍처는 공간 등변성(spatial equivariance)을 갖도록 설계되었으며, 파라미터 공유를 통해 전이 불변성을 확보하며, CNN과 유사하지만 장거리 의존성 모델링 능력이 향상되었다.
• SDN은 계층적 및 일반 VAE의 디코더에 통합되어 기존의 디컨볼루션 또는 트랜스포지션 컨볼루션 레이어를 대체한다.
• 표준 평가 지표를 사용하여 평가되었으며, 이는 비트당 음수 ELBO(비트/차원), 로그우도, 그리고 분리도 점수(β-VAE 및 FactorVAE)를 포함한다.
• 후기 확산 문제를 완화하기 위해 β-annealing을 사용하여 훈련을 수행하였으며, 특히 비계층적 VAE 설정에서 효과적이다.

실험 결과

연구 질문

• RQ1 표현적으로 공간 일관성과 장거리 의존성을 모델링하는 신경망 아키텍처가 표준 컨볼루션 디코더에 비해 VAE에서 이미지 생성을 향상시킬 수 있는가?
• RQ2 SDN을 VAE 디코더에 통합하면 CIFAR10 및 ImageNet32와 같은 실제 이미지 데이터셋에서 더 나은 밀도 추정 성능을 달성할 수 있는가?
• RQ3 비계층적 VAE에서 β-VAE 및 FactorVAE 지표를 사용할 때 SDN이 분리된 표현 학습을 향상시킬 수 있는가?
• RQ4 고해상도 이미지 합성에서, 특히 일관성이 중요한 고온 샘플링 조건에서 SDN의 성능은 어떠한가?
• RQ5 표현 학습 향상의 원인은 아키텍처 용량 때문인가, 아니면 공간 인덕티브 바이어스의 명시적 모델링 때문인가?

주요 결과

• CIFAR10 및 ImageNet32에서 SDN-VAE는 테스트 로그우도가 7.95 ± 0.07 비트/차원(BPD)을 기록하여, CNN 기반 베이스라인의 7.40 ± 0.07 BPD보다 유의미하게 높은 성능을 보였다.
• 3D-Shapes 합성 데이터셋에서 SDN 기반 VAE는 음수 ELBO가 2.66 ± 0.04 BPD를 기록하였고, 이는 CNN 기반 베이스라인의 4.44 ± 0.04 BPD보다 우수한 밀도 추정 성능을 의미한다.
• 다양한 β 값에서 β-VAE 및 FactorVAE 지표를 통해 SDN 기반 VAE는 우수한 분리도 성능을 보이며, 잠재 요소의 분리도 향상이 확인되었다.
• CelebAHQ256에서의 고해상도 이미지 합성에서는 고온 샘플링 조건에서도 시각적으로 일관되고 고품질의 샘플을 생성하였으며, 기존 모델이 실패하는 조건에서도 우수한 성능을 보였다.
• 강의 학습(teacher forcing)이 없음에도 불구하고 분리도 향상이 관찰되었고, β-annealing를 통해 후기 확산 문제가 효과적으로 완화되었다.
• 결과는 아키텍처 설계, 특히 공간 일관성 모델링이 분리된 표현 학습을 가능하게 하는 데 핵심적인 역할을 한다는 것을 시사하며, 강력한 디코더가 표현 학습을 해칠 수 있다는 기존의 통념을 도전한다.