[논문 리뷰] Sylvester Normalizing Flows for Variational Inference

Rianne van den Berg, Leonard Hasenclever외 2명|arXiv (Cornell University)|2018. 03. 15.

Generative Adversarial Networks and Image Synthesis인용 수 39

한 줄 요약

이 논문은 평면 흐름의 일반화인 실베스터 정규화 흐름(SNFs)을 소개한다. SNFs는 직교 또는 삼각 변환 행렬을 사용함으로써 단일 유닛의 병목 현상을 제거하여 더 유연하고 표현력 있는 변분 사후 분포를 가능하게 한다. SNFs는 여러 데이터셋에서 최신 기준 성능을 달성하며, 평면 흐름과 역자기회귀 흐름(IAFs)을 모두 능가한다. 특히 하이퍼넷을 통한 데이터 의존적 흐름 파라미터를 사용할 경우 성능 향상이 두드러진다.

ABSTRACT

Variational inference relies on flexible approximate posterior distributions. Normalizing flows provide a general recipe to construct flexible variational posteriors. We introduce Sylvester normalizing flows, which can be seen as a generalization of planar flows. Sylvester normalizing flows remove the well-known single-unit bottleneck from planar flows, making a single transformation much more flexible. We compare the performance of Sylvester normalizing flows against planar flows and inverse autoregressive flows and demonstrate that they compare favorably on several datasets.

연구 동기 및 목표

• 평면 흐름이 표현력에 제한을 받는 단일 유닛 병목 현상의 문제를 해결하기 위해.
• 계산 가능한 자코비안 행렬식을 유지하면서도 더 유연하고 효율적인 정규화 흐름 가족을 개발하기 위해.
• 기본적인 IAF와 비교할 때 데이터 의존적 흐름 파라미터가 성능 향상에 기여하는지 조사하기 위해.
• 기본 데이터셋에서 정규화된 실베스터 흐름의 다양한 변종—직교, 하우스홀더, 삼각형—을 비교하기 위해.
• SNFs가 기존 정규화 흐름 기반 모델 대비 ELBO와 로그우도 측면에서 더 뛰어난 성능을 보임을 입증하기 위해.

제안 방법

• 실베스터 정규화 흐름은 $ z = f_{\theta}(y) = y + A h(B y + b) $ 형태의 변환을 사용함으로써 평면 흐름을 일반화한다. 여기서 $ A $와 $ B $는 학습 가능한 행렬이다.
• 이 방법은 변환의 자코비안 행렬식을 효율적으로 계산하기 위해 실베스터의 행렬식 항등식을 활용한다.
• 역행렬 가능성을 확보하기 위해 $ A $와 $ B $를 직교 또는 삼각 행렬로 제약한다. 직교 행렬은 하우스홀더 반사 또는 반복적 직교화 방법을 통해 구성된다.
• 세 가지 변종이 제안된다: 직교 SNFs(O-SNF), 하우스홀더 SNFs(H-SNF), 삼각형 SNFs(T-SNF)로, 각각 다른 파라미터화 전략을 가진다.
• 흐름 파라미터는 하이퍼넷을 통해 데이터 의존적으로 설정되어 입력 $ \mathbf{x} $에 따라 변환에 적응할 수 있다. 이는 IAF와 달리 고정된 컨텍스트 벡터를 사용하지 않는다는 점에서 차별화된다.
• 암시적 추론(amortized inference)이 적용되며, 인코더 네트워크가 입력 데이터에 따라 흐름 파라미터를 생성함으로써 효율적인 사후 근사가 가능해진다.

실험 결과

연구 질문

• RQ1 단일 유닛 병목 현상을 제거한 평면 흐름의 일반화가 변분 추론에서 더 나은 사후 근사 성능을 달성할 수 있는가?
• RQ2 표준 기준 데이터셋에서 실베스터 정규화 흐름의 성능이 평면 흐름과 역자기회귀 흐름(IAFs)보다 어떻게 비교되는가?
• RQ3 하이퍼넷을 통해 데이터 의존적 흐름 파라미터를 사용할 경우, 기존의 컨텍스트 의존적 IAF보다 성능 향상이 이루어지는가?
• RQ4 다양한 행렬 파라미터화 방식(직교, 하우스홀더, 삼각형)이 흐름의 표현력과 학습 안정성에 어떤 영향을 미치는가?
• RQ5 실베스터 흐름이 기존 정규화 흐름 기반 모델보다 더 높은 ELBO와 로그우도 값을 달성할 수 있는가?

주요 결과

• 실베스터 정규화 흐름은 MNIST, Freyfaces, Omniglot, Caltech 101 Silhouettes에서 평면 흐름과 IAF를 모두 능가하며, 모든 SNF 변종이 더 뛰어난 ELBO와 음의 로그우도 점수를 기록했다.
• MNIST에서 $ M=32 $인 O-SNF와 $ H=8 $개의 하우스홀더 반사로 구성된 H-SNF가 최고의 성능을 보였으며, 음의 로그우도가 $ 98.85 \pm 0.20 $로 IAF(1280)의 $ 99.74 \pm 0.28 $보다 유의미하게 뛰어났다.
• 삼각형 실베스터 흐름(T-SNF)은 평균만을 사용하는 IAF와 유사하지만, 데이터 의존적 흐름 파라미터 덕분에 IAF를 능가한다. 이는 입력 $ \mathbf{x} $에 대한 파라미터 의존성이 표현력 향상에 기여함을 시사한다.
• Caltech 101 Silhouettes에서 IAF의 성능은 열악했으며, 1280개의 뉴런을 가진 MADE 버전이라도 음의 로그우도가 $ 99.74 \pm 0.28 $에 머물러 있어 과적합 또는 고도의 파라미터 수로 인한 학습 곤란을 시사한다.
• Omniglot과 Caltech 101에서 하우스홀더 및 삼각형 SNFs가 직교 SNFs를 능가했다. 이는 후자의 경우 $ M=32 $로 인한 더 큰 병목 현상이 고차원 공간에서 표현력 제한을 초래하기 때문일 것이다.
• Freyfaces에서는 평면 흐름이 약간 더 뛰어난 성능을 보였는데, 이는 소규모 데이터셋에서 과적합 위험이 낮기 때문일 것이다. 그러나 SNFs 역시 강력한 성능을 보이며 다양한 데이터 환경에서의 안정성을 입증했다.