[논문 리뷰] Invertible Generative Modeling using Linear Rational Splines

Hadi M. Dolatabadi, Sarah Erfani외 1명|arXiv (Cornell University)|2020. 01. 15.

Model Reduction and Neural Networks참고 문헌 37인용 수 9

한 줄 요약

이 논문은 정규화 흐름의 커파링 레이어에서 애핀 변환의 대체로 선형 유리 스플라인을 제안하여 분석적 역함수를 갖는 효율적인 역행성 생성 모델링을 가능하게 한다. 이 방법은 기준 데이터셋에서 경쟁 가능한 우도 성능를 달성하면서도 대칭적인 정방향 및 역방향 계산 비용 덕분에 더 빠른 샘플링을 제공한다.

ABSTRACT

Normalizing flows attempt to model an arbitrary probability distribution through a set of invertible mappings. These transformations are required to achieve a tractable Jacobian determinant that can be used in high-dimensional scenarios. The first normalizing flow designs used coupling layer mappings built upon affine transformations. The significant advantage of such models is their easy-to-compute inverse. Nevertheless, making use of affine transformations may limit the expressiveness of such models. Recently, invertible piecewise polynomial functions as a replacement for affine transformations have attracted attention. However, these methods require solving a polynomial equation to calculate their inverse. In this paper, we explore using linear rational splines as a replacement for affine transformations used in coupling layers. Besides having a straightforward inverse, inference and generation have similar cost and architecture in this method. Moreover, simulation results demonstrate the competitiveness of this approach's performance compared to existing methods.

연구 동기 및 목표

• 애핀 커파링 레이어의 제한점을 해결하기 위해, 효율적인 역행성은 유지하나 모델 표현력이 제한되는 문제를 해결한다.
• 다항식 기반 스플라인의 계산 병목 현상을 해결하기 위해, 역행렬을 구하기 위해 비선형 방정식을 풀어야 하는 문제를 해결한다.
• 계산 가능한 자코비안 행렬식과 효율적인 정방향 및 역방향 연산을 갖는 플로 기반 생성 모델을 개발한다.
• 실세계 데이터셋에서 개선된 샘플링 효율성과 경쟁 가능한 우도 성능를 갖춘 고차원 밀도 추정을 가능하게 한다.

제안 방법

• 커파링 레이어의 애핀 변환을 단조 증가하는 선형 유리 스플라인으로 대체한다. 이는 분수함수로 구성되며 분자와 분모가 모두 선형이다.
• 각 세그먼트 내에서 유일한 역함수가 보장되도록 단조 증가성을 확보함으로써 역행성을 보장한다.
• 고차 다항식 스플라인에서 요구되는 반복적 또는 근 찾기 방법을 피하기 위해 선형 유리 스플라인의 분석적 역함수를 유도한다.
• 정방향 및 역방향 계산 비용이 동일하게 유지되어 효율적인 샘플링과 훈련이 가능하다.
• 모든 차원이 업데이트되도록 교차하는 마스크를 사용하여 커파링 레이어를 기반으로 한 정규화 흐름 아키텍처에 스플라인 변환을 통합한다.
• 입력 분할에 조건부로 스플라인 제어점과 계수를 예측하는 신경망을 사용해 스플라인을 파arameter화한다.

실험 결과

연구 질문

• RQ1 선형 유리 스플라인은 애핀 커파링 레이어보다 더 표현력이 뛰어나면서도 계산 가능한 역행성을 유지할 수 있는가?
• RQ2 애cker 스플라인을 사용할 경우, 고정점 방법을 통해 반복적으로 역행렬을 구해야 하는 잔여 흐름과 비교해 더 빠른 샘플링이 가능한가?
• RQ3 표준 기준 데이터셋에서 선형 유리 스플라인 플로의 우도 성능는 최첨단 정규화 흐름과 비교해 어떻게 되는가?
• RQ4 기존 방법에 비해 더 적은 파라미터와 낮은 계산 오버헤드로도 경쟁 가능한 성능를 달성할 수 있는가?
• RQ5 분석적 역함수 사용이 플로 기반 모델의 훈련 안정성과 추론 효율성에 미치는 영향은 무엇인가?

주요 결과

• 제안된 선형 유리 스플라인 플로는 MNIST에서 -82.23 ± 0.46 nats, EMNIST에서 -120.46 ± 0.40 nats의 테스트 세트 ELBO 성능를 달성하여 Glow와 RQ-NSF와 동등하거나 이를 초월한다.
• MNIST에서 -79.66 ± 0.42 nats, EMNIST에서 -117.74 ± 0.38 nats의 음의 로그 우도를 기록하여 IAF/MAF를 초월하고 RQ-NSF 및 Glow와 경쟁 가능한 성능를 보였다.
• 잔여 흐름과 비교해 제안된 모델의 샘플링 속도는 최대 한 단계 빠르며, 고정점 방법을 통한 반복적 역행렬 계산이 필요로 하는 잔여 흐름보다 빠르다.
• 선형 유리 스플라인의 역함수는 분석적으로 계산 가능하며 정방향 계산과 동일한 기능 형태를 갖추고 있어 대칭적인 계산 비용을 보장한다.
• 간단한 구조임에도 불구하고 일부 경우에서 파라미터 수가 절반 이하인 복잡한 모델들인 Glow 및 잔여 흐름과 비교해 유사한 성능를 달성한다.
• 사전 실험 및 샘플 생성 결과를 통해 합성 데이터와 실세계 데이터 모두에서 뛰어난 성능를 보였으며, 다중 모달 분포를 포함한 다양한 작업에서도 우수한 성능를 나타냈다.