[논문 리뷰] Constraining the Dynamics of Deep Probabilistic Models

Marco Lorenzi, Maurizio Filippone|arXiv (Cornell University)|2018. 02. 15.

Gaussian Processes and Bayesian Inference참고 문헌 32인용 수 15

한 줄 요약

이 논문은 깊이 있는 확률 모델—특히 딥 가우시안 프로세스에 대해 소프트 등식 및 부등식 제약 조건을 도입하기 위한 유연하고 확장 가능한 프레임워크를 제안한다. 제약 조건은 생성 과정에 통합되고, 확률적 추론을 통해 종단 간 불확실성 정량화를 가능하게 하는 스토하스틱 변분 추론을 사용한다. 이 방법은 데이터 크기와 제약 조건 수에 대해 선형 확장성을 보이며, 미분방정식 파라미터 추정 및 카운트 데이터의 단조성 회귀와 같은 제약 조건이 있는 모델링 작업에서 최첨단 성능을 달성한다.

ABSTRACT

We introduce a novel generative formulation of deep probabilistic models implementing "soft" constraints on their function dynamics. In particular, we develop a flexible methodological framework where the modeled functions and derivatives of a given order are subject to inequality or equality constraints. We then characterize the posterior distribution over model and constraint parameters through stochastic variational inference. As a result, the proposed approach allows for accurate and scalable uncertainty quantification on the predictions and on all parameters. We demonstrate the application of equality constraints in the challenging problem of parameter inference in ordinary differential equation models, while we showcase the application of inequality constraints on the problem of monotonic regression of count data. The proposed approach is extensively tested in several experimental settings, leading to highly competitive results in challenging modeling applications, while offering high expressiveness, flexibility and scalability.

연구 동기 및 목표

• 딥 확률 모델의 함수 동역학에 소프트 제약 조건을 도입하기 위한 일반적이고 민감한 방법을 개발한다. 이는 함수 및 그 도함수에 대한 등식 및 부등식 제약 조건을 포함한다.
• 이러한 제약 조건 하에서 모델 파라미터와 예측의 정확하고 확장 가능한 불확실성 정량화를 가능하게 한다.
• 정확한 추론이 계산적으로 비효율적인 경우, 미분방정식 모델의 파라미터 추론 문제를 해결한다.
• 생물의학 및 역학 모델링에서 흔히 요구되는 카운트 데이터의 단조성 회귀를 지원한다.
• 딥 확률 모델과 현대 최적화 도구에 호환되는 확장 가능한 종단 간 추론 프레임워크를 제공한다.

제안 방법

• 제약 조건을 생성 과정에 소프트 페널티로 통합하여 위반은 허용하되 확률적 수식을 통해 처벌하도록 한다.
• 스토하스틱 변분 추론을 사용하여 모델 및 제약 조건 파라미터의 사후 분포를 근사함으로써 확장 가능한 학습을 가능하게 한다.
• 제약 조건이 있는 설정에서 변분 추론을 지원하기 위해 모델 증거에 대한 하한을 유도한다.
• 효율적인 기울기 계산을 위해 자동 미분을 사용하여 구현 및 GPU 가속을 촉진한다.
• 구성적 GP 구조를 가진 딥 가우시안 프로세스(DGPs)에 이 프레임워크를 적용하지만, 확률적 DNN로도 확장 가능하다.
• 가상 입력을 통해 제약 조건을 구현하며, 이는 모델이 원하는 동역학(예: 미분방정식 해 또는 단조성)에서의 이탈을 처벌하도록 한다.

실험 결과

연구 질문

• RQ1 딥 확률 모델에 함수 동역학에 대한 소프트 제약 조건을 효과적으로 통합하여 모델 정확도와 해석 가능성의 향상을 이룰 수 있는가?
• RQ2 복잡한 제약 조건을 적용할 때, 깊이 있는 모델에서 예측 및 파라미터의 불확실성을 신뢰할 수 있게 정량화할 수 있는가?
• RQ3 제안된 프레임워크는 데이터 및 제약 조건 수에 대해 선형으로 확장되면서도, 미분방정식 파라미터 추정에서 경쟁력 있는 성능을 달성할 수 있는가?
• RQ4 카운트 데이터 회귀에서 단조성과 같은 부등식 제약 조건을 깊이 있는 확률 모델에서 효과적으로 적용할 수 있는가?
• RQ5 확장성과 모델 정확도 측면에서 제안된 방법은 최첨단 기법들과 비교해 어떻게 성과를 내는가?

주요 결과

• 두 층으로 구성된 딥 가우시안 프로세스는 비스듬한 GP와 Matérn 공분산 GP보다 더 큰 표본 크기에서 데이터 피팅과 파라미터 추정 성능이 뛰어나며, 비정상성(비정상성)을 모델링할 수 있는 능력 덕분이다.
• 미분방정식 파라미터 추정에서 제안된 방법은 최첨단 기법들과 경쟁 가능한 결과를 내며, 파라미터와 예측에 대한 전체적인 불확실성 정량화를 가능하게 한다.
• 카운트 데이터의 단조성 회귀에서 제약 조건이 부여된 DGP 모델은 성공적으로 단조성을 강제하며, 도함수 분포가 양의 영역에 집중되어 전문적인 단조성 GP 방법의 결과와 일치한다.
• 관측 수와 제약 조건 수에 대해 선형 확장성을 보이며, 자동 미분를 통한 효율적인 GPU 가속 추론을 지원한다.
• 모델 및 제약 조건 파라미터에 대한 종단 간 사후 추론을 가능하게 하여 생물학 및 의학 분야의 실제 적용에서 중요한 의미를 가진 불확실성 추정을 제공한다.
• 비스듬한 모델에 비해 복잡한 비정상성 동역학을 더 잘 포착함을 입증하였으며, 저표본 및 고표본 크기 모두에서 피츠휴-나구모 방정식 벤치마크에서 이를 확인하였다.