[논문 리뷰] Temporal Normalizing Flows

Gert‐Jan Both, Rémy Kusters|arXiv (Cornell University)|2019. 12. 19.

Model Reduction and Neural Networks참고 문헌 22인용 수 10

한 줄 요약

이 논문은 시간에 따라 변화하는 확률 밀도를 더 정확하게 추정하기 위해 공간-시간 데이터를 활용하는 비지도 딥러닝 방법인 시간 정규화 흐름(tNFs)을 소개한다. 기존의 구간화(binng) 및 커널 밀도 추정(KDE)에 비해 희소하고 다중 척도 데이터셋에서 특히 성능이 뛰어나며, 시간에 따라 변화하는 분포를 정확하게 모델링한다. 시간에 의존하는 결합층을 갖는 역행 가능 흐름을 통해 공간-시간 분포를 모델링함으로써, 표준 정규화 흐름보다 뛰어난 성능을 보이며 비정규분포 및 다중 모달 분포와 같은 복잡한 역학을 포착할 수 있다. 또한, 엔드 투 엔드 미분 가능한 밀도 피팅을 통해 물리학에 기반한 편미분방정식(PDE) 발견이 가능하다.

ABSTRACT

Analyzing and interpreting time-dependent stochastic data requires accurate and robust density estimation. In this paper we extend the concept of normalizing flows to so-called temporal Normalizing Flows (tNFs) to estimate time dependent distributions, leveraging the full spatio-temporal information present in the dataset. Our approach is unsupervised, does not require an a-priori characteristic scale and can accurately estimate multi-scale distributions of vastly different length scales. We illustrate tNFs on sparse datasets of Brownian and chemotactic walkers, showing that the inclusion of temporal information enhances density estimation. Finally, we speculate how tNFs can be applied to fit and discover the continuous PDE underlying a stochastic process.

연구 동기 및 목표

• 기존의 구간화 및 KDE와 같은 전통적 방법이 구간 편향 또는 커널 폭 민감도로 인해 실패하는 경우, 특히 희소하고 시간에 따라 변화하는 스토케스틱 데이터에서 정확한 밀도 추정 문제를 해결하기 위함.
• 사전에 길이 척도나 입자 추적 정보가 필요 없이 다중 척도 공간-시간 역학을 자연스럽게 다룰 수 있는 비지도적이고 확장 가능한 방법 개발.
• 시간 시리즈 데이터의 시간적 상관관계를 활용하여 단일 프레임 분석을 넘어서 밀도 추정 성능을 향상시키기 위함.
• 엔드 투 엔드로 미분 가능한 밀도 피팅을 통해 단일 입자 데이터에 직접 연속적인 PDE를 피팅함으로써 물리학에 기반한 모델링을 가능하게 하기 위함.
• 유한 도메인의 밀도 및 불연속적 프로파일을 모델링하기 위해 tNFs를 활용할 수 있는지 탐색하기 위함, 특히 반사벽 등의 경계나 보존 법칙이 존재할 경우

제안 방법

• tNFs는 정규화 흐름을 시간을 연속적인 입력으로 포함시켜 확장함으로써, 시간에 따라 변화하는 확률 밀도를 역행 가능하고 순차적 결합층을 통해 모델링할 수 있도록 한다.
• 모델은 변환 $ z = f(x,t) $의 로그 자코비안을 신경망으로 매개변수화하며, 이는 공간적으로 수치적으로 통합되어 잠재 공간의 밀도를 계산하고 실제 공간의 밀도를 재구성한다.
• 모든 시간점에서의 음의 로그우도를 최소화하며, 변화량 공식을 통해 우도를 계산한다: $ \mathcal{L} = -\sum_i \log p_Z(f(x_i,t_i)) + \log \left| \frac{df}{dx} \right|_{x=x_i} $.
• 비約한 단조성 신경망 아키텍처를 사용하여 배치 처리, 배치 정규화를 가능하게 하며, RNN 또는 기타 순차 모델과의 통합도 가능하다.
• 물리학에 기반한 정규화 흐름(PINFs)은 PDE 잔차 항을 손실에 추가함으로써 도입된다: $ \mathcal{L} = \sum_i \log p_X(x_i) + \frac{\lambda}{n} \sum_i |\partial_t p_X - f(p_X, \partial_x p_X, \dots)|^2 $.
• 유한 도메인 추정을 지원하며 질량 또는 확률 보존을 유지하도록 설계되어 경계 근처에서도 정확한 모델링이 가능하다.

실험 결과

연구 질문

• RQ1 정규화 흐름은 시간에 따라 변화하는 확률 밀도를 모델링하면서 시간적 상관관계를 유지하고, 희소 데이터에서의 추정 성능을 향상시킬 수 있는가?
• RQ2 흐름 변환에 시간을 입력으로 포함시키는 것이 시간에 무관한 흐름이나 표준 KDE/구간화에 비해 밀도 추정 성능을 어떻게 향상시키는가?
• RQ3 tNFs는 공간-시간 스토케스틱 과정에서 다중 척도, 비정규분포, 다중 모달 분포를 정확하게 추정할 수 있는가?
• RQ4 tNFs는 단일 입자 궤적 데이터로부터 직접 스트로케스틱 과정의 기저가 되는 PDE를 발견하거나 피팅하는 데 얼마나 효과적으로 활용될 수 있는가?
• RQ5 tNFs는 반사벽과 같은 경계나 보존 법칙이 존재하는 경우, 불연속성 또는 경계 효과가 있는 유한 도메인의 밀도를 어떻게 모델링할 수 있는가?

주요 결과

• tNFs는 브라운 운동 및 화학성향 운동자에 대한 희소 데이터셋에서 기존의 구간화 및 KDE에 비해 뚜렷이 뛰어난 성능을 보이며, 특히 다중 척도 및 비정규분포 특성을 잘 포착한다.
• tNFs를 통해 시간 역학을 통합함으로써 시간 간의 상관관계를 활용해 추정 분산을 줄이고 정확도를 향상시켰다.
• 반사 경계가 존재하는 1D 브라운 운동자 문제에서 tNFs는 경계 근처에서 밀도 기울기가 급격한 지역에서 KDE보다 더 정확한 밀도 추정을 제공했다.
• 합성 다중 척도 토이 문제에서 tNFs는 다양한 길이 척도를 가진 시간에 따라 변화하는 밀도를 성공적으로 추정하였으며, 복잡한 공간적 구조를 다룰 수 있는 유연성을 입증했다.
• 물리학에 기반한 정규화 흐름(PINFs)은 위치 데이터로부터 직접 PDE의 파라미터를 추론할 수 있음을 입증하였으며, 初기 결과는 정확한 확산 방정식 수렴을 확인했다.
• tNFs는 보존 법칙을 준수하는 엔드 투 엔드로 미분 가능한 모델링을 가능하게 하여, 비평형 시스템에서 PDE 해법 또는 발견 도구로의 잠재적 응용 가능성을 시사한다.