[논문 리뷰] Generative Image Modeling Using Spatial LSTMs

Lucas Theis, Matthias Bethge|arXiv (Cornell University)|2015. 06. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 51인용 수 103

한 줄 요약

이 논문은 자연 이미지 내의 장거리 공간적 상관관계를 포착하기 위해 공간적 장기 단기 기억(LSTM) 유닛을 사용하는 딥 생성 모델인 RIDE를 제안한다. 다차원 LSTM과 인과적 가우시안 첨도 혼합모형(MCGSM)의 요소를 결합함으로써 RIDE는 계산 가능성이 보장되며, 이미지 생성, 텍스처 합성, 이미지 복원 작업에서 최신 기술을 능가한다. 특히 강한 장거리 상관관계를 가지는 데이터셋에서 뛰어난 성능을 발휘한다.

ABSTRACT

Modeling the distribution of natural images is challenging, partly because of strong statistical dependencies which can extend over hundreds of pixels. Recurrent neural networks have been successful in capturing long-range dependencies in a number of problems but only recently have found their way into generative image models. We here introduce a recurrent image model based on multi-dimensional long short-term memory units which are particularly suited for image modeling due to their spatial structure. Our model scales to images of arbitrary size and its likelihood is computationally tractable. We find that it outperforms the state of the art in quantitative comparisons on several image datasets and produces promising results when used for texture synthesis and inpainting.

연구 동기 및 목표

• 장거리 공간적 상관관계를 효과적으로 포착하는 딥 생성 모델을 개발하여 자연 이미지에 적용 가능하게 한다.
• 다차원 LSTM을 순환 이미지 모델링 프레임워크에 통합함으로써 기존 생성 모델을 향상시킨다.
• 계산 가능성이 보장되면서도 임의의 크기의 이미지에 대해 확장 가능한 이미지 모델링을 가능하게 한다.
• 장거리 상관관계가 핵심적인 텍스처 합성 및 이미지 복원 작업에서 모델의 효과성을 입증한다.
• 과도한 파rameter 증가 없이 표현 능력을 향상시키는 인과적 MCGSM 변형을 제안한다.

제안 방법

• 모델는 래스터 스캔 순서로 픽셀을 처리하는 공간적 LSTM 아키텍처를 사용하여, 장거리 공간 영역에 걸쳐 정보가 전파되는 순환 연결을 가능하게 한다.
• 각 픽셀의 조건부 분포는 인과적 MCGSM을 통해 모델링되며, 파라미터는 공간적 위치 간에 공유되지만 LSTM 은닉 상태에 의해 국소적 맥락에 따라 조정된다.
• 결합 확률은 체인 법칙을 통해 계산된다: p(x;θ) = ∏_{i,j} p(x_ij | x_<ij; θ), 여기서 x_<ij는 스캔 순서상 (i,j) 이전의 모든 픽셀을 의미한다.
• MCGSM 구성 요소는 공유된 첨도 파라미터를 가진 조건부 독립 가우시안 혼합모형을 사용하여 픽셀 강도의 다차원 유연한 모델링을 가능하게 한다.
• 이미지 복원의 사후 추론을 위해 모델은 초기화 단계로 조상 샘플링을 사용하는 메트로폴리스-내부-깁스 MCMC 기법과 국소적 제안 업데이트를 적용한다.
• 모델는 공간적 LSTM의 자동회귀적 구조 덕분에 효율적으로 계산 가능한 가능도를 활용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 다차원 LSTM 아키텍처는 자연 이미지 내의 장거리 공간적 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 공간적 LSTM과 인과적 MCGSM을 조합하면 기존 자동회귀 모델 대비 생성 모델링 성능을 향상시킬 수 있는가?
• RQ3 복잡한 통계적 패턴을 포착함으로써 모델은 현실적인 텍스처를 생성하고 효과적인 이미지 복원을 수행할 수 있는가?
• RQ4 계산 가능성이 보장되면서도 임의의 크기의 이미지에 대해 확장 가능한가?
• RQ5 공간적 LSTM은 표준 컨볼루션 또는 자동회귀 모델 대비 이미지 생성 과업에서 얼마나 뛰어난 성능을 발휘하는가?

주요 결과

• RIDE는 CIFAR-10, SVHN, LSUN 등의 여러 이미지 데이터셋에서 로그가능도 및 FID 점수 측면에서 최신 기술을 능가한다.
• 특히 D104와 D34와 같은 이중분포 및 주기적 패턴을 가진 텍스처에서 텍스처 합성 성능이 뛰어나다.
• 이미지 복원 과업에서 RIDE는 MCMC 샘플링을 통해 71×71 픽셀 크기의 큰 영역을 성공적으로 복원하며, 시각적으로 타당한 결과를 생성한다.
• 인과적 MCGSM 구성 요소는 최소한의 파라미터 증가로도 모델링 능력을 크게 향상시켜 복잡한 이미지 통계를 더 잘 표현할 수 있도록 한다.
• RIDE는 미리 보지 않은 텍스처에 대해 강력한 일반화 능력을 보이며, D106 및 D110에서 실제 이미지와 거의 구분되지 않는 샘플을 생성한다.
• 공간적 LSTM의 사용 덕분에 표준 MCGSM 또는 국소 모델이 효과적으로 포착하지 못하는 장거리 상관관계를 모델이 포착할 수 있다.