[논문 리뷰] Probabilistic Deep Learning using Random Sum-Product Networks

Robert Peharz, Antonio Vergari외 5명|arXiv (Cornell University)|2018. 09. 05.

Adversarial Robustness in Machine Learning참고 문헌 31인용 수 13

한 줄 요약

이 논문은 합-곱 네트워크(SPNs)의 효율성과 해석 가능성과 딥 러닝의 학습 유연성을 결합한 새로운 확률적 딥 러닝 프레임워크인 RAT-SPNs를 소개한다. 무작위 SPN 구조를 확률적 경사 하강법과 자동 미분을 통해 훈련시킴으로써 RAT-SPNs는 딥 러닝 수준의 성능을 달성하면서도 정확한 가능도 계산, 잘 校정된 불확실성, 그리고 결측치 및 이방성 요소에 대한 강건성을 유지한다.

ABSTRACT

The need for consistent treatment of uncertainty has recently triggered increased interest in probabilistic deep learning methods. However, most current approaches have severe limitations when it comes to inference, since many of these models do not even permit to evaluate exact data likelihoods. Sum-product networks (SPNs), on the other hand, are an excellent architecture in that regard, as they allow to efficiently evaluate likelihoods, as well as arbitrary marginalization and conditioning tasks. Nevertheless, SPNs have not been fully explored as serious deep learning models, likely due to their special structural requirements, which complicate learning. In this paper, we make a drastic simplification and use random SPN structures which are trained in a classical deep learning manner, i.e. employing automatic differentiation, SGD, and GPU support. The resulting models, called RAT-SPNs, yield prediction results comparable to deep neural networks, while still being interpretable as generative model and maintaining well-calibrated uncertainties. This property makes them highly robust under missing input features and enables them to naturally detect outliers and peculiar samples.

연구 동기 및 목표

• 추론 시 정확한 가능도를 계산할 수 없는 기존의 확률적 딥 러닝 모델의 한계를 해결하기 위해.
• 기존 SPN의 구조적 유연성 부족으로 인해 확장 가능한 훈련이 어렵고, 딥 러닝 모델로의 도입이 제한되는 문제를 해결하기 위해.
• 자동 미분 및 SGD와 같은 표준 딥 러닝 도구를 사용해 SPN 유사 아키텍처의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 딥 뉴럴 네트워크 수준의 성능을 달성하면서도 SPN의 생성적 해석 가능성과 불확실성 보정 능력을 유지하기 위해.
• 결측 입력 특징에 대한 강건성을 향상시키고 이상치 탐지 능력을 강화하기 위해.

제안 방법

• 논문은 무작위로 초기화된 SPN 구조를 사용하는 랜덤 합-곱 네트워크(RAT-SPNs)를 제안하며, 이는 표준 딥 러닝 최적화 기법을 사용해 훈련된다.
• RAT-SPNs는 GPU 가속 하드웨어에서 엔드 투 엔드 훈련을 위해 자동 미분과 확률적 경사 하강법(SGD)을 활용한다.
• 아키텍처는 학습 과정을 단순화하기 위해 랜덤 구조를 사용하며, 기존 SPN에서 흔히 복잡한 구조 제약이 요구되는 것을 방지한다.
• 모델은 효율적인 정확한 추론(예: 마진화 및 조건화 연산 포함)을 유지하는 SPN의 핵심 성질을 간직한다.
• 랜덤 초기화 덕분에 확장 가능한 훈련이 가능하면서도 정확한 데이터 가능도 계산 능력을 유지할 수 있다.
• 생성 모델링과 판별적 훈련을 통합함으로써, 불확실성 추정과 높은 예측 정확도를 동시에 달성할 수 있다.

실험 결과

연구 질문

• RQ1 SGD와 자동 미분와 같은 표준 딥 러닝 최적화 기법을 사용해 SPN을 효과적으로 훈련시킬 수 있는가?
• RQ2 랜덤 SPN 구조는 확장 가능한 훈련을 가능하게 하면서도 정확한 가능도 계산과 효율적인 추론을 유지할 수 있는가?
• RQ3 예측 정확도 측면에서 RAT-SPNs의 성능은 표준 딥 뉴럴 네트워크와 어떻게 비교되는가?
• RQ4 RAT-SPNs는 결측 입력 특징 상황에서 얼마나 잘 보존된 불확실성 보정 능력을 유지하는가?
• RQ5 생성 모델링의 성격 덕분에 RAT-SPNs는 이상치 및 이방성 샘플을 자연스럽게 탐지할 수 있는가?

주요 결과

• RAT-SPNs는 벤치마크 작업에서 표준 딥 뉴럴 네트워크와 비교해 유사한 예측 성능을 달성한다.
• 모델들은 데이터 가능도의 정확한 계산을 유지하여 체계적인 확률적 추론을 가능하게 한다.
• RAT-SPNs는 잘 校정된 불확실성 추정을 보이며, 실제 적용 환경에서의 신뢰성을 향상시킨다.
• 모델들은 데이터 손상 상황에서도 결측 입력 특징에 대해 강건성을 유지하며, 예측 성능을 유지한다.
• 생성 모델링 능력 덕분에 RAT-SPNs는 이상치 및 이례적인 샘플을 자연스럽게 탐지할 수 있다.
• SPN 구조를 딥 러닝 훈련 파이프라인과 통합함으로써 확장 가능하고 해석 가능하며 불확실성 인식이 가능한 모델을 구현할 수 있다.