[논문 리뷰] Neural Spline Flows

Conor Durkan, Artur Bekasov외 2명|arXiv (Cornell University)|2019. 06. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 57인용 수 27

한 줄 요약

이 논문은 정규화 흐름에서 애फ인 또는 덧셈 변환을 대체하는 완전히 미분 가능하고 해석적으로 역행할 수 있는 모듈인 신경 스퍼링 플로우를 소개한다. 이 모듈은 단조성과 유리한 다항식 스퍼링을 기반으로 하며, 결합형 및 순차형 흐름에서 모델의 유연성을 크게 향상시키면서도 정확한 밀도 평가와 한 번의 통과로 샘플링을 유지한다. 이로 인해 밀도 추정, 변분 추론, 이미지 생성 분야에서 최고 성능을 달성한다.

ABSTRACT

A normalizing flow models a complex probability density as an invertible transformation of a simple base density. Flows based on either coupling or autoregressive transforms both offer exact density evaluation and sampling, but rely on the parameterization of an easily invertible elementwise transformation, whose choice determines the flexibility of these models. Building upon recent work, we propose a fully-differentiable module based on monotonic rational-quadratic splines, which enhances the flexibility of both coupling and autoregressive transforms while retaining analytic invertibility. We demonstrate that neural spline flows improve density estimation, variational inference, and generative modeling of images.

연구 동기 및 목표

• 표준 애फ인 또는 덧셈 변환을 더 표현력이 풍부하고, 미분 가능하며 해석적으로 역행할 수 있는 대안으로 대체하여 정규화 흐름에서의 표현력과 역행성 간의 상충 관계를 해결하고자 한다.
• 계산 효율성이나 정확한 가능도 평가를 포기하지 않으면서도, 결합형 및 순차형 흐름의 표현 능력을 향상시키고자 한다.
• 각 변환 레이어의 표현력을 높여서 더 적은 흐름 단계로도 고차원 밀도 추정과 생성 모델링을 가능하게 하고자 한다.
• 기존의 RealNVP, Glow, VAE 등 흐름 아키텍처를 개선하여 성능과 파라미터 효율성을 높일 수 있는 즉시 사용 가능한 모듈을 제공하고자 한다.

제안 방법

• 단조성과 해석적 역행성을 보장하는 K+1개의 고정점과 K-1개의 내부 도함수를 사용하여 조각별 역행 가능한 함수를 매개변수화하는 단조성 유리 다항식 스퍼링 기반 변환을 제안한다.
• 이분 탐색을 통한 미분 가능한 버킷화 메커니즘을 사용하여 입력 값이 스퍼링 세그먼트 내에 위치하는 것을 빠르게 확인함으로써 O(log K) 시간 내에 효율적인 계산을 가능하게 한다.
• 결합형 및 순차형 레이어의 애फ인 또는 덧셈 변환에 대한 즉시 교체 가능한 스퍼링 모듈을 통합하여, 흐름의 역행성과 자코비안 행렬식의 취급 용이성을 유지한다.
• 모든 지점에서 엄격하게 단조적이며, 미분 가능하도록 매개변수화하여 전체 흐름을 통해 역전파가 가능하도록 한다.
• 유리 다항식 스퍼링의 유연성을 활용하여 표준 애फ인 결합 레이어보다 더 복잡하고 다중 모달, 비대칭 분포를 효과적으로 모델링할 수 있도록 한다.
• 결합 기반(RQ-NSF-C) 및 순차 기반(RQ-NSF-AR) 흐름 아키텍처에 모두 이 방법을 적용하여 다양한 유형의 흐름에 대한 광범위한 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 더 유연하고, 미분 가능하며 해석적으로 역행 가능한 변환이 계산 효율성을 포기하지 않으면서도 정규화 흐름의 표현 능력을 향상시킬 수 있는가?
• RQ2 단조성 유리 다항식 스퍼링은 결합형 및 순차형 흐름에서 밀도 추정 및 생성 모델링에 있어 표준 애फ인 또는 덧셈 변환을 얼마나 뛰어나게 성능을 높일 수 있는가?
• RQ3 스퍼링 기반 변환의 표현력 향상으로 인해 필요한 흐름 단계 수가 줄어들 수 있으며, 가능도 성능을 유지하거나 향상시킬 수 있는가?
• RQ4 다양한 데이터-차원 비율을 가진 표본 및 이미지 데이터 세트에서, 스퍼링 기반 흐름의 성능은 최고 수준의 순차형 및 결합 기반 모델과 비교해 어떻게 되는가?

주요 결과

• 유리 다항식 스퍼링을 사용하는 결합형 흐름인 RQ-NSF(C)는 CIFAR-10(5비트 기준 1.70 BPD)과 ImageNet64(5비트 기준 1.77 BPD)에서 최고 성능을 기록하며, 기준 흐름 모델을 능가하고, 이와 유사하거나 이를 초월하는 Glow 성능을 달성한다.
• 고차원 데이터 비율이 높은 표본 데이터 세트(예: Power, Gas, Hepmass)에서는 RQ-NSF(C)와 RQ-NSF(AR)가 최고 성능을 기록하여, 충분한 데이터가 있을 경우 더 나은 일반화 능력을 보였다.
• 단지 1560만 개의 파라미터로 ImageNet64에서 경쟁 가능한 성능을 달성하여, Glow(11090만 개)에 비해 뚜렷한 파라미터 효율성을 확보하였다.
• 추가적인 복잡성에도 불구하고, 이분 탐색을 통한 효율적 버킷화 덕분에 훈련 업데이트 당 벽시계 시간이 단지 30~40% 증가하였다.
• 이 방법은 한 번의 통과 샘플링과 정확한 가능도 평가를 유지하면서도, 흐름 기반 모델의 핵심 장점을 유지하면서도 표현력은 크게 향상시켰다.
• 제안된 스퍼링 모듈은 아키텍처에 관계없이 잘 일반화되어 있으며, 아키텍처의 대대적인 수정 없이도 변분 추론 및 이미지 생성 작업에서 성능 향상을 이끌어냈다.