[논문 리뷰] Texture Modeling with Convolutional Spike-and-Slab RBMs and Deep Extensions

Heng Luo, Pierre Carrier외 2명|arXiv (Cornell University)|2012. 11. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 14

한 줄 요약

이 논문은 컨volutional 스파이크-앤드-슬래브 RBM(TssRBM)과 스파이크-앤드-슬래브 visible 및 이진 hidden 유닛을 가진 새로운 RBM 버전을 사용하여 텍스처 합성용 딥 생성 모델을 제안한다. 이러한 모델들을 딥 베이지언 네트워크(DBN)로 스택하고 하층을 대비 분산(CD)으로 훈련시킴으로써, 비정상적이고 다중 텍스처 시나리오에서 특히 뛰어난 성능을 기록하며, 단일층 모델과 비지도 다중 텍스처 학습 기준선을 초월하는 상태의 기술(SOTA) 성능을 달성한다.

ABSTRACT

We apply the spike-and-slab Restricted Boltzmann Machine (ssRBM) to texture modeling. The ssRBM with tiled-convolution weight sharing (TssRBM) achieves or surpasses the state-of-the-art on texture synthesis and inpainting by parametric models. We also develop a novel RBM model with a spike-and-slab visible layer and binary variables in the hidden layer. This model is designed to be stacked on top of the TssRBM. We show the resulting deep belief network (DBN) is a powerful generative model that improves on single-layer models and is capable of modeling not only single high-resolution and challenging textures but also multiple textures.

연구 동기 및 목표

• 고해상도의 비정상적 자연 텍스처와 복잡한 공간 주파수 성분을 갖는 텍스처를 합성할 수 있는 딥 생성 모델을 개발하는 것.
• 타일링 컨볼루션 가중치 공유를 통해 局소 불변성과 효율적인 수용장역할 타일링을 구현한 스파이크-앤드-슬래브 RBM을 통합하여 텍스처 모델링을 향상시키는 것.
• 클래스 레이블이 필요로 하는 이전 모델의 한계를 극복하고, 레이블 없이도 이질적인 다수의 텍스처를 비지도 학습할 수 있도록 하는 것.
• 훈련 전략(CD 대비 PCD/FPCD)이 깊이 있는 모델 성능과 기브스 샘플링에서의 혼합 행동에 미치는 영향을 조사하는 것.
• 깊이가 텍스처 생성에서 장거리 종속성 모델링을 향상시키면서도 세밀한 국소 구조를 유지하는 데 기여하는지 확인하는 것.

제안 방법

• TssRBM는 겹치지 않는 수용장역할을 가진 타일링 컨볼루션 가중치 공유를 사용하여 다양한 크기의 텍스처 합성과 효율적인 국소 특징 모델링을 가능하게 한다.
• 스파이크-앤드-슬래브 visible 층과 이진 hidden 유닛을 가진 새로운 RBM이 제안되며, 이는 TssRBM 위에 깊이 신뢰망(DBN)에 스택될 수 있도록 설계되었다.
• DBN은 탐욕적인 계층별 사전 훈련을 통해 훈련된다: 하층(TssRBM)은 CD-1로 훈련되고, 최상위층은 최대우도 근사에 가까운 방식(예: FPCD)을 사용한다.
• 아키텍처는 ssRBM이 CD 훈련과 호환됨을 활용하여 하층에서 효과적인 특징 학습과 상층에서 더 나은 샘플링을 가능하게 한다.
• 깊이가 증가함에 따라 효과적인 수용장역할이 확장되어 상층이 공간적으로 분리된 영역 간의 장거리 종속성과 위상 일관성을 모델링할 수 있다.
• 모델은 브로다츠 텍스처를 대상으로 정성적 합성과 정량적 지표를 사용하여 평가되었으며, 훈련 전략과 깊이에 대한 분석도 포함되었다.

실험 결과

연구 질문

• RQ1 타일링 컨볼루션 가중치 공유를 갖는 TssRBM이 자연 텍스처 데이터셋에서 텍스처 합성 및 복원 작업에서 최고 성능(SOTA)을 달성할 수 있는가?
• RQ2 딥 베이지언 네트워크에서 하층을 CD로 사전 훈련하는 것이 PCD 또는 FPCD 사전 훈련보다 더 나은 텍스처 모델을 만들어내는가?
• RQ3 ssRBM 변종을 조합한 깊이 아키텍처가 비지도 방식으로 이질적인 다수의 텍스처를 모델링할 수 있는가?
• RQ4 깊이가 기브스 샘플링 체인에서 혼합 행동과 전체 모델 성능에 어떤 영향을 미치는가?
• RQ5 제안된 모델이 비정상적 텍스처에서 국소 텍스처 세부 정보와 전반적인 구조 일관성을 어느 정도 잘 포착하는가?

주요 결과

• TssRBM은 다양한 브로다츠 텍스처에서 텍스처 합성 및 복원 작업에서 최고 성능(SOTA)을 달성하거나 이를 초월하며, 넓은 공간 주파수 성분을 갖는 비정상적 텍스처에서 특히 뛰어난 성능을 보였다.
• 하층을 CD로 사전 훈련하는 것이 PCD나 FPCD 사전 훈련보다 유의미하게 더 나은 텍스처 모델을 만들어내었으며, 이는 초기 층에서 입력 정보를 더 잘 유지하고 KL 발산을 최소화한다는 주장과 일치한다.
• 스택된 TssRBM과 새로운 RBM 변종을 사용한 딥 베이지언 네트워크는 기브스 체인에서 혼합 속도가 향상되었으며, 더 깊은 모델에서 자기상관 스펙트럼의 더 빠른 감쇠가 관찰되었다.
• 3층 DBN은 생성 샘플에서 8개의 이질적 텍스처 중 7개를 성공적으로 포착하여, 레이블 없이도 효과적인 비지도 다중 텍스처 모델링이 가능함을 보여주었다.
• 단일층 TssRBM은 고주파 구조만 포착할 뿐 전반적인 텍스처 패tern이나 다중 텍스처를 모델링하지 못하는 것으로 나타났고, 깊이 있는 모델이 이를 초월했다.
• ssRBM을 깊이 아키텍처에 통합함으로써 하층에서 국소 특징 학습과 상층에서 장거리 종속성 포착을 균형 있게 조절함으로써, 복잡하고 현실적인 텍스처를 모델링할 수 있었다.