[논문 리뷰] Density estimation on low-dimensional manifolds: an inflation-deflation approach

Christian Horvat, Pfister, Jean-Pascal|arXiv (Cornell University)|2021. 05. 25.

Neural Networks and Applications참고 문헌 20인용 수 1

한 줄 요약

이 논문은 고차원 공간에 임bed된 저차원 다양체 위에서 정확한 밀도 추정을 가능하게 하기 위해 정규화 흐름(normalizing flows, NFs)을 위한 팽창-수축 방법을 제안한다. 데이터 다상체를 법선 공간에서 노이즈로 팽창한 후, 팽창된 공간에서 NF를 훈련하고, 기하학적 제약 조건을 통해 정확히 원래의 밀도로 되돌리는 방식으로, 충분한 조건 하에서 정확한 밀도 추정을 달성한다. 표준 NF와 동일한 계산 비용을 유지하며, 흐름의 역변환을 필요로 하지 않는다.

ABSTRACT

Normalizing Flows (NFs) are universal density estimators based on Neural Networks. However, this universality is limited: the density's support needs to be diffeomorphic to a Euclidean space. In this paper, we propose a novel method to overcome this limitation without sacrificing universality. The proposed method inflates the data manifold by adding noise in the normal space, trains an NF on this inflated manifold, and, finally, deflates the learned density. Our main result provides sufficient conditions on the manifold and the specific choice of noise under which the corresponding estimator is exact. Our method has the same computational complexity as NFs and does not require computing an inverse flow. We also show that, if the embedding dimension is much larger than the manifold dimension, noise in the normal space can be well approximated by Gaussian noise. This allows using our method for approximating arbitrary densities on unknown manifolds provided that the manifold dimension is known.

연구 동기 및 목표

• 정규화 흐름이 유클리드 공간과 디피오모르픽해야 하는 위상적 제약 조건으로 인해 저차원 다상체 위에서의 밀도 추정이 어려운 문제를 해결하기 위해.
• 정규화 흐름의 보편성을 유지하면서도 고차원 공간에 임베딩된 다상체 위에서 정확한 밀도 추정을 가능하게 하는 방법을 개발하기 위해.
• 추론 과정에서 정규화 흐름을 역변환할 필요 없이도 효율성을 유지하면서, 자동재귀형 흐름(Autoregressive flows)의 사용을 가능하게 하기 위해.
• 수축 과정에서 밀도 추정이 정확해지는 데 필요한 이론적 충분 조건을 다상체 기하학과 노이즈 분포에 기반해 제시하기 위해.
• 임베딩 차원 D가 다상체 차원 d보다 훨씬 클 때(즉, D ≫ d), 법선 공간에서의 노이즈가 요구되는 노이즈 분포를 잘 근사하므로, 다상체 차원 d가 알려져 있을 경우 알려지지 않은 다상체에 적용 가능하게 하기 위해.

제안 방법

• 원래의 d차원 다상체 X ⊂ R^D를 법선 공간에서의 노이즈를 더하여 팽창시켜, 팽창된 다상체 X̃ ⊂ R^D를 생성한다.
• 팽창된 다상체에서 표준 정규화 흐름 F_θ^(-1)을 훈련하여, 팽창된 데이터 ỹ ∼ q(ỹ)의 밀도 q(ỹ)를 학습한다. 이때 기준 측도 p_U(u)를 R^d에 적용한다.
• 팽창 변환의 역변환을 사용하여 학습된 밀도 q(ỹ)를 원래 다상체로 다시 변형함으로써, 진짜 밀도 p*(x)에 대한 추정치  p̂(x)를 도출한다.
• 특정한 노이즈 분포를 법선 공간에 사용한다—구체적으로 다상체의 법선 번들의 지지에 국한된 분포—이를 통해 수축 과정에서 원래 밀도를 정확히 복원할 수 있도록 한다.
• 고차원 환경 공간(D ≫ d)에서는 등방성 가우시안 노이즈가 법선 공간에서 요구되는 노이즈를 잘 근사하므로, 알려지지 않은 다상체에 대한 실용적 적용이 가능하다.
• 다상체 기하학과 노이즈 분포의 지지 및 밀도에 기반하여, 수축 과정이 진짜 밀도를 정확히 복원할 수 있는 이론적 조건을 설정한다.

실험 결과

연구 질문

• RQ1 다상체와 노이즈 분포에 어떤 조건이 충족되어야, 팽창된 다상체에서 훈련된 정규화 흐름이 원래 다상체에서 진짜 밀도를 정확히 복원할 수 있는가?
• RQ2 팽창-수축 프레임워크는 저차원 다상체에서 정규화 흐름의 위상적 제약 조건을 극복하면서도 보편성을 유지할 수 있는가?
• RQ3 이 방법은 추론 과정에서 정규화 흐름을 역변환할 필요 없이도 계산 효율성을 유지하는가?
• RQ4 고차원 공간(R^D, D ≫ d)에서의 가우시안 노이즈가 알려지지 않은 다상체에 대해 요구되는 법선 공간 노이즈의 실용적 근사로 사용될 수 있는가?
• RQ5 다상체 차원 d가 알려져 있을 경우, 이 방법을 사용해 알려지지 않은 저차원 다상체 위에서 임의의 밀도를 추정할 수 있는가?

주요 결과

• 제안된 방법은 기하학적 조건과 노이즈 분포 조건이 충분할 경우 저차원 다상체 위에서 정확한 밀도 추정을 달성하며, 수축된 밀도 추정치가 진짜 밀도 p*(x)와 정확히 일치함을 증명한다.
• 이 방법은 표준 정규화 흐름과 동일한 계산 복잡도를 유지하며, 추론 과정에서 흐름을 역변환할 필요 없이도 자동재귀형 흐름의 사용이 가능해진다.
• 환경 차원 D가 다상체 차원 d보다 훨씬 클 때(즉, D ≫ d), R^D에서의 등방성 가우시안 노이즈가 법선 공간에 제한된 요구되는 노이즈 분포를 잘 근사하므로, 알려지지 않은 다상체에 대한 실용적 적용이 가능하다.
• 이 방법은 리만 다상체 위에서 정규화 흐름을 사용한 정확한 밀도 추정을 위한 충분 조건을 이론적으로 설정한 최초의 프레임워크로서, 문헌에서 핵심적인 빈도를 메꾸었다.
• 합성 다상체(S^1, S^2, SO(2) 등)에 대한 실험 결과, 이 방법은 표준 NF와 기존의 다상체 흐름 기반 방법보다 밀도 추정 성능이 뛰어나며, 노이즈가 존재하거나 고차원 설정에서 특히 두각을 나타낸다.
• SO(2)에 대한 KS 검정 결과, 법선 공간 노이즈(NID)를 사용한 방법이 등방성 노이즈(IID)보다 유의미하게 낮은 오차를 기록했으며, σ² = 0.01에서 최적 성능을 보였고, 이는 적절한 노이즈 분포의 이론적 우수성을 확인한다.