[논문 리뷰] Spatial Broadcast Decoder: A Simple Architecture for Learning Disentangled Representations in VAEs

Nicholas Watters, Löıc Matthey외 2명|arXiv (Cornell University)|2019. 01. 21.

Digital Media Forensic Detection참고 문헌 36인용 수 76

한 줄 요약

Spatial Broadcast decoder는 공간에 걸쳐 잠재 변수를 타일링하고 고정 좌표 채널을 붙여 해리성 및 재구성을 개선하고, 특히 작은 객체에 대해 강한 효과를 보이며 일반화도 잘 된다.

ABSTRACT

We present a simple neural rendering architecture that helps variational autoencoders (VAEs) learn disentangled representations. Instead of the deconvolutional network typically used in the decoder of VAEs, we tile (broadcast) the latent vector across space, concatenate fixed X- and Y-"coordinate" channels, and apply a fully convolutional network with 1x1 stride. This provides an architectural prior for dissociating positional from non-positional features in the latent distribution of VAEs, yet without providing any explicit supervision to this effect. We show that this architecture, which we term the Spatial Broadcast decoder, improves disentangling, reconstruction accuracy, and generalization to held-out regions in data space. It provides a particularly dramatic benefit when applied to datasets with small objects. We also emphasize a method for visualizing learned latent spaces that helped us diagnose our models and may prove useful for others aiming to assess data representations. Finally, we show the Spatial Broadcast Decoder is complementary to state-of-the-art (SOTA) disentangling techniques and when incorporated improves their performance.

연구 동기 및 목표

• 감독 없이 VAE에서 구성적이고 해리된 표현을 학습하도록 자극한다.
• 표준 DeConv 디코더의 대안으로 Spatial Broadcast decoder를 제안한다.
• 이 아키텍처가 해리성, 재구성 정확도 및 일반화를 향상시킴을 다양한 데이터셋에서 보여주며, 특히 작은 객체가 있는 경우에.
• 최신 해리 방법과 결합했을 때 호환성과 보완 이득을 입증한다.

제안 방법

• 잠재 벡터를 이미지 공간에 걸쳐 타일링하여 z_sb를 형성하고 고정된 x- 및 y-좌표 채널을 연결한다.
• 좌표 채널이 있는 확산된 잠재에 대해 unstrided 합성곱 디코더를 사용한다.
• 최적화 아티팩트를 줄이고 위치 렌더링을 간소화하기 위해 업샘플링 DeConv를 피한다.
• 표현을 진단하기 위한 잠재 공간 시각화 도구를 제공한다.
• 해당 위치 변화가 있는 데이터셋과 없는 데이터셋에서 해리성 및 일반화를 평가한다.
• DeConv 디코더와 FactorVAE / beta-VAE와 비교하되 보완 이득을 보여준다.

실험 결과

연구 질문

• RQ1 Spatial Broadcast decoder가 표준 디코더에 비해 VAE의 해리성과 재구성에 개선을 가져오는가?
• RQ2 Spatial Broadcast 접근법이 데이터 공간의 보류 영역 및 작은 객체가 있는 데이터셋으로의 일반화에 어떤 영향을 미치는가?
• RQ3 Spatial Broadcast decoder가 기존의 해리 방법들인 beta-VAE 및 FactorVAE와 보완적인가?
• RQ4 잠재 공간 시각화가 스칼라 지표를 넘어 표현 품질에 대한 더 많은 통찰을 제공할 수 있는가?

주요 결과

• Spatial Broadcast VAE는 MIG 및 잠재 트래버설에서 DeConv VAE를 능가하며 더 해석 가능한 해리된 요인을 보여준다.
• β-VAE 및 FactorVAE 변형을 포함한 tested 모델 전반에서 더 나은 rate-distortion 트레이드오프와 향상된 MIG 점수를 얻는다.
• 작은 객체가 있는 데이터셋에서 해리화 및 재구성 개선이 특히 극적으로 나타난다.
• 잠재 공간 시각화는 Spatial Broadcast 하에서 거의 선형적이고 잘 해리된 구조를 보여주며, DeConv 표현은 얽혀 있다 vs.
• 생성 요인 공간의 보류 영역과 픽셀 공간의 보간/외삽에 잘 일반화된다.
• Spatial Broadcast 디코더는 SOTA 해리 기법과 상보적이며 이를 결합하면 성능을 높일 수 있다.