[논문 리뷰] Deep Generalized Convolutional Sum-Product Networks for Probabilistic Image Representations

Jos van de Wolfshaar, Andrzej Pronobis|arXiv (Cornell University)|2019. 02. 16.

Machine Learning in Materials Science인용 수 5

한 줄 요약

이 논문은 공간적 종속성을 겹치는, 확장된, 그리고 스트라이드가 적용된 수신장으로 이미지 내의 공간적 구조를 모델링하는 파rameterized product-sum 구조를 통해 새로운 SPN 아키텍처인 Deep Generalized Convolutional Sum-Product Networks (DGC-SPNs)를 제안한다. 이 방법은 정확하고 효율적인 추론을 가능하게 하며, 여러 데이터셋에서 이미지 생성, 분류, 완성 작업에서 최신 기술 수준의 성능을 달성한다. 이는 이전의 컨볼루션 SPNs에 비해 향상된 특징 해상도와 커버리지로 이루어진다.

ABSTRACT

Sum-Product Networks (SPNs) are hierarchical, probabilistic graphical models capable of fast and exact inference that can be trained directly from high-dimensional, noisy data. Traditionally, SPNs struggle with capturing relationships in complex spatial data such as images. To this end, we introduce Deep Generalized Convolutional Sum-Product Networks (DGC-SPNs), which encode spatial features through products and sums with scopes corresponding to local receptive fields. As opposed to existing convolutional SPNs, DGC-SPNs allow for overlapping convolution patches through a novel parameterization of dilation and strides, resulting in significantly improved feature coverage and feature resolution. DGC-SPNs substantially outperform other convolutional and non-convolutional SPN approaches across several visual datasets and for both generative and discriminative tasks, including image completion and image classification. In addition, we demonstrate a modificiation to hard EM learning that further improves the generative performance of DGC-SPNs. While fully probabilistic and versatile, our model is scalable and straightforward to apply in practical applications in place of traditional deep models. Our implementation is tensorized, employs efficient GPU-accelerated optimization techniques, and is available as part of an open-source library based on TensorFlow.

연구 동기 및 목표

• 기존의 Sum-Product Networks (SPNs)가 이미지 내의 복잡한 공간적 구조를 모델링하는 데에 한계가 있음을 해결하기 위해.
• 새로운 확장 및 스트라이드 파arameterization을 통해 겹치는 컨볼루션 패치를 허용함으로써 SPNs의 특징 커버리지와 해상도를 향상시키기 위해.
• 생성 및 판별 이미지 작업 모두에서 잘 작동하는 완전한 확률론적, 확장 가능한 딥 모델을 개발하기 위해.
• 더 나은 생성 모델링을 위해 잠재 변수 업데이트를 개선하는 수정된 하드 EM 훈련 절차를 통해 학습 효율성과 성능을 향상시키기 위해.
• 실제 응용에 적합한 실용적이고 오픈소스이며 GPU 가속을 지원하는 구현을 제공하기 위해.

제안 방법

• DGC-SPNs는 구성 가능한 확장 및 스트라이드를 갖춘 국소 수신장에서 제품과 합이 작용하는 계층적 아키텍처를 사용하여 겹치는 공간적 커버리지를 가능하게 한다.
• 모델은 확장 및 스트라이드의 일반화된 공식화를 통해 컨볼루션 연산을 파arameterization하여 민첩하고 조밀한 특징 표현을 가능하게 한다.
• 공간적 특징은 국소 이미지 패치에 해당하는 범위를 갖는 합-곱 구조를 통해 캡처되며, 이는 정확하고 효율적인 확률론적 추론을 가능하게 한다.
• 아키텍처는 텐서라이제이션되어 GPU 가속 기법을 사용하여 최적화되어 확장 가능한 훈련과 추론을 가능하게 한다.
• 생성 성능 향상을 위해 잠재 변수 업데이트를 개선하는 수정된 하드 EM 학습 전략이 도입된다.
• 모델은 TensorFlow로 구현되어 널리 적용 가능한 오픈소스 라이브러리로 공개된다.

실험 결과

연구 질문

• RQ1 구조적이고 컨볼루션 기반의 파arameterization을 통해 SPNs는 이미지 내의 복잡한 공간적 종속성을 효과적으로 모델링할 수 있는가?
• RQ2 변경 가능한 확장 및 스트라이드를 갖는 겹치는 컨볼루션 수신장은 SPNs의 특징 표현에 어떻게 기여하는가?
• RQ3 DGC-SPNs는 기존의 컨볼루션 및 비컨볼루션 SPN 모델에 비해 이미지 생성 및 분류 작업에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 하드 EM 학습에 대한 제안된 수정 사항은 SPNs의 생성 능력을 상당히 향상시키는가?
• RQ5 DGC-SPNs는 실용적이고 확장 가능한 성능을 유지하면서 실제 응용 분야에서 높은 성능을 달성할 수 있는가?

주요 결과

• DGC-SPNs는 이미지 생성 및 분류 작업 모두에서 여러 이미지 데이터셋에서 최신 기술 수준의 성능을 달성한다. 이는 이미지 완성 및 분류 작업을 포함한다.
• 이전의 컨볼루션 SPNs에 비해 겹치는, 확장된, 스트라이드가 적용된 수신장을 통해 더 뛰어난 특징 커버리지와 해상도를 보여준다.
• 수정된 하드 EM 훈련 절차는 특히 재구성 및 가능도 지표에서 생성 모델링 품질의 측정 가능한 향상을 이끌어낸다.
• DGC-SPNs는 정확하고 효율적인 추론을 유지하여 GPU 가속 하드웨어에서 빠른 훈련과 구현을 가능하게 한다.
• 오픈소스 TensorFlow 구현은 실용적 응용에 쉽게 통합하고 배포할 수 있도록 하며, 평가된 모든 벤치마크에서 기존 SPN 기반 모델을 능가한다.
• 모델의 확장성과 유연성 덕분에 확률적 비전 작업에서 기존의 딥 러닝 모델에 대한 강력한 대안이 될 수 있다.