[논문 리뷰] On the Stochastic Stability of Deep Markov Models

Ján Drgoňa, Sayak Mukherjee외 3명|arXiv (Cornell University)|2021. 11. 08.

Neural Networks and Applications인용 수 3

한 줄 요약

이 논문은 깊이 있는 신경망(DNN) 가중치의 스펙트럼 성질을 확률적 안정성과 연결함으로써 딥 마르코프 모델(DMM)에 대한 안정성 분석 프레임워크를 제안한다. 연산자 노름과 반복 고정점 이론을 사용하여 평균 제곱 안정성에 대한 충분 조건을 수립하고, 학습 중 안정성을 확보하기 위한 정규화 방법을 제안하며, 활성화 함수와 가중치 제약 조건에 대한 수치 실험을 통해 검증한다.

ABSTRACT

Deep Markov models (DMM) are generative models that are scalable and expressive generalization of Markov models for representation, learning, and inference problems. However, the fundamental stochastic stability guarantees of such models have not been thoroughly investigated. In this paper, we provide sufficient conditions of DMM's stochastic stability as defined in the context of dynamical systems and propose a stability analysis method based on the contraction of probabilistic maps modeled by deep neural networks. We make connections between the spectral properties of neural network's weights and different types of used activation functions on the stability and overall dynamic behavior of DMMs with Gaussian distributions. Based on the theory, we propose a few practical methods for designing constrained DMMs with guaranteed stability. We empirically substantiate our theoretical results via intuitive numerical experiments using the proposed stability constraints.

연구 동기 및 목표

• 딥 마르코프 모델(DMM)은 널리 사용되지만 공식적인 강건성 분석이 부족한 바, 이에 대한 이론적 안정성 보장을 해결하고자 한다.
• DNN가 평균 및 분산 전이를 모델링하는 데 사용되는 연산자 노름을 분석함으로써 DMM의 확률적 안정성에 대한 충분 조건을 수립하고자 한다.
• 네트워크 가중치와 편향에 대한 노름 제약 조건을 통해 DMM 학습 중 안정성을 강제하는 실용적인 정규화 기법을 개발하고자 한다.
• 다양한 활성화 함수와 가중치 정규화가 DMM 안정성에 미치는 영향을 수치 사례 연구를 통해 실증적으로 조사하고자 한다.

제안 방법

• DNN 가중치 행렬의 연산자 노름을 사용하여 확률적 전이 맵의 수축 정도를 정량화하고, 결정론적 DNN 안정성과 확률적 DMM 안정성 간의 연결 고리를 설정한다.
• 반복 고정점 정리를 적용하여 DNN 전이 행렬의 스펙트럼 노름에 기반한 평균 제곱 안정성에 대한 충분 조건을 유도한다.
• 두 가지 정규화 펜alties를 제안한다: 하나는 평균 전이 행렬의 스펙트럼 노름이 1 미만이 되도록 강제하는 것이고, 다른 하나는 유도된 부등식을 통해 평형 상태 노름을 제한하는 것이다.
• 특이값 분해(SVD) 기반 및 겔슈고린 원 기반의 가중치 정규화를 사용하여 고유값 분포를 제어하고 안정성을 향상시킨다.
• 스토크래틱 트레이젝터리 시뮬레이션을 통해 다양한 활성화 함수(ReLU, SELU, Softplus, tanh) 하에서 DMM의 단계 공간 행동을 분석한다.
• 삼각 부등식과 애프린 다이내믹스의 연산자 노름 한계를 사용하여 평형 상태 노름의 상한 및 하한을 유도한다.

실험 결과

연구 질문

• RQ1 DMM 내 DNN의 가중치와 활성화 함수에 어떤 조건이 충족되어야 결과적으로 얻어지는 마르코프 과정이 확률적으로 안정해지는가?
• RQ2 DNN의 스펙트럼 성질을 어떻게 활용하여 DMM에서 평균 제곱 안정성을 공식적으로 보장할 수 있는가?
• RQ3 실제로 DMM 동역학을 더 안정적으로 만들기 위해 어떤 활성화 함수와 가중치 정규화가 효과적인가?
• RQ4 DMM 학습 목표 함수에 노름 기반 정규화를 통합하면 증명 가능한 안정성을 확보할 수 있는가?
• RQ5 다양한 활성화 함수는 DMM 상태 트레이젝터리의 유계성과 수렴성에 어떻게 영향을 미치는가?

주요 결과

• DNN 전이 행렬의 스펙트럼 노름이 1 미만이면 DMM의 평균 제곱 안정성에 대한 충분 조건이 유도되며, 이는 안정한 평형 상태로의 수렴을 보장한다.
• 삼각 부등식과 연산자 노름 부등식을 사용하여 평형 상태 노름에 대한 이론적 한계를 도출하였으며, 상태 크기의 상한 및 하한을 제공한다.
• ReLU와 tanh 활성화 함수는 리프시츠 상수가 ≤1인 수축 성질을 가지므로 더 안정적인 행동를 보이며, SELU와 Softplus는 수축 성질이 있는 가중치일지라도 불안정성을 유도할 수 있다.
• SVD 기반 및 겔슈고린 기반의 가중치 정규화가 효과적으로 안정성을 향상시키며, 특히 tanh 활성화 함수는 가장 강력하고 유계된 트레이젝터리 행동를 보인다.
• 수치 실험 결과, DNN 가중치에 스펙트럼 노름 제약 조건을 적용함으로써 다양한 활성화 함수에 관계없이 상태 트레이젝터리가 유계이고 수렴하는 것으로 확인되었다.
• 제안된 정규화 펜alties (47) 및 (48)은 DMM 학습 목표 함수에 통합되어 안정성과 평형 상태 한계를 강제할 수 있다.