[논문 리뷰] Deep Generalized Convolutional Sum-Product Networks

Jos van de Wolfshaar, Andrzej Pronobis|arXiv (Cornell University)|2019. 02. 16.

Visual Attention and Saliency Detection참고 문헌 22인용 수 4

한 줄 요약

이 논문은 깊이 있는 일반화된 합성곱 합-곱형 신경망(DGC-SPNs)을 소개한다. DGC-SPNs는 스트라이드와 확장률의 새로운 파arameterization을 통해 제품층에서 합성곱 연산을 일반화하여 겹치는 패치를 허용하면서도 확률적 타당성을 유지하는 새로운 SPN 아키텍처이다. DGC-SPNs는 여러 데이터셋에서 이미지 복원 및 분류 과제에서 최신 기술 수준(SOTA) 성능을 달성하며, Keras/TensorFlow 라이브러리를 통한 확장성 있고 GPU 최적화된 구현을 제공한다.

ABSTRACT

Sum-Product Networks (SPNs) are hierarchical, graphical models that combine benefits of deep learning and probabilistic modeling. SPNs offer unique advantages to applications demanding exact probabilistic inference over high-dimensional, noisy inputs. Yet, compared to convolutional neural nets, they struggle with capturing complex spatial relationships in image data. To alleviate this issue, we introduce Deep Generalized Convolutional Sum-Product Networks (DGC-SPNs), which encode spatial features in a way similar to CNNs, while preserving the validity of the probabilistic SPN model. As opposed to existing SPN-based image representations, DGC-SPNs allow for overlapping convolution patches through a novel parameterization of dilations and strides, resulting in significantly improved feature coverage and feature resolution. DGC-SPNs substantially outperform other SPN architectures across several visual datasets and for both generative and discriminative tasks, including image inpainting and classification. These contributions are reinforced by the first simple, scalable, and GPU-optimized implementation of SPNs, integrated with the widely used Keras/TensorFlow framework. The resulting model is fully probabilistic and versatile, yet efficient and straightforward to apply in practical applications in place of traditional deep nets.

연구 동기 및 목표

• 기존 SPN 아키텍처가 이미지 데이터의 복잡한 공간적 관계를 캐릭터리스티크하게 파악하는 데 한계가 있음을 해결하기 위해.
• 유효성 제약 조건(완전성 및 분해 가능성)을 위반하지 않으면서도 SPN 제품층에서 겹치는 합성곱 패치를 가능하게 하기 위해.
• 스트라이드와 확장률의 파arameterization을 일반화하여 SPN 기반 이미지 표현의 특징 해상도와 커버리지 향상시키기 위해.
• 실제 구현을 위해 Keras/TensorFlow와 통합된 확장성 있고 효율적이며 GPU 최적화된 SPN의 구현 개발을 위해.
• 생성적 및 판별적 시각 작업 모두에서 DGC-SPNs의 우수성을 입증하기 위해, 이미지 복원 및 분류를 포함한다.

제안 방법

• 제품층에서 합성곱 연산의 새로운 파arameterization을 도입하여 스트라이드와 확장률을 일반화함으로써 겹치는 패치를 허용하는 새로운 SPN 아키텍처를 제안한다.
• 합 및 곱 노드 간 일관된 범위를 유지하여 완전성 및 분해 가능성 조건을 유지함으로써 SPN의 타당성을 확보한다.
• 가중치가 부여된 합과 곱 연산을 사용하여 국소적 특징을 계층적으로 조합하여 글로벌 표현을 생성하며, 정확한 확률적 추론을 유지한다.
• 경로 선택의 편향을 줄이고 결측 데이터 과제에서 성능을 향상시키기 위해, 무게 없는 합 입력(USI)을 하드 EM과 통합한다.
• Keras와 TensorFlow 기반으로 구축된 새로운 라이브러리인 libspn-keras를 통해 DGC-SPN 아키텍처를 구현하여 확장성과 사용 용이성을 확보한다.
• 기존 딥 러닝 최적화 기법(예: Adam, 드롭아웃 등)을 사용하여 모델을 훈련하면서도 전체 확률적 의미를 유지한다.

실험 결과

연구 질문

• RQ1 SPN 제품층에서 겹치는 합성곱 패치를 도입하면 확률적 타당성을 위반하지 않으면서도 특징 해상도와 커버리지가 향상될 수 있는가?
• RQ2 SPN에서 스트라이드와 확장률의 일반화된 파arameterization은 이미지 인식 및 복원 과제에서 더 나은 성능을 이끌어낼 수 있는가?
• RQ3 DGC-SPNs는 기존 SPN 아키텍처에 비해 생성적 및 판별적 이미지 과제에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 무게 없는 합 입력(USI)과 하드 EM을 사용할 경우, SPN의 성능과 경로 선택 편향에 어떤 영향을 미치는가?
• RQ5 새로운 GPU 최적화된 Keras/TensorFlow 기반 SPN 구현은 확장성과 실용적 사용성에 얼마나 기여하는가?

주요 결과

• 모든 데이터셋에서 이미지 복원 과제에서 DGC-SPNs가 가장 낮은 MSE를 기록했으며, USI를 사용할 경우 Olivetti에서 12.7% 향상(735 vs. 804), Caltech 101에서 12.8% 향상(2801 vs. 3216)을 기록했다.
• MNIST에서 DGC-SPNs는 이미지 분류 과제에서 98.66%의 정확도를 달성하여, 이전의 모든 SPN 기반 방법(예: RAT-SPN 98.19%, Prometheus 98.37%)을 초월했다.
• Fashion MNIST에서 DGC-SPNs는 90.74%의 정확도를 기록하여, 이전에 가장 우수한 성능을 보였던 방법(RAT-SPN 89.52%)을 능가했다.
• 무게 없는 합 입력(USI)과 하드 EM을 사용함으로써 경로 선택 편향이 크게 감소했으며, 모든 데이터셋과 과제에서 성능 향상이 관찰되었다.
• 기존 방법이 클래스 수에 따라 증가함에 따라 성능이 급격히 떨어지는 것과 달리, DGC-SPNs는 모든 클래스에 대해 단일 공유 SPN 스택을 사용하여 뛰어난 확장성을 보였다.
• libspn-keras 라이브러리는 효율적이고 확장 가능하며 GPU 가속 기능을 제공하여, SPN 기반 모델의 재현 가능성과 광범위한 도입을 촉진한다.