[논문 리뷰] Categorical Normalizing Flows via Continuous Transformations

Phillip Lippe, Efstratios Gavves|arXiv (Cornell University)|2020. 06. 17.

Time Series Analysis and Forecasting참고 문헌 45인용 수 14

한 줄 요약

이 논문은 범주형 데이터의 연속적이고 겹치지 않는 표현을 학습하기 위해 변분 추론과 분해형 디코더를 사용하는 범주형 정규화 흐름(CNF)을 제안한다. 이는 고기수성 카디널리티를 가진 범주형 데이터에 대해 확장 가능한 정규화 흐름을 가능하게 하며, 복잡한 의존성을 흐름의 사전분포를 통해 모델링하고 표현 학습과 상호작용 모델링을 분리함으로써, 순열에 불변인 그래프 생성을 위한 GraphCNF를 가능하게 한다. 이는 분자 생성에서 최신의 자동회귀 및 한 번의 흐름 기반 모델보다 뛰어난 성능을 보인다.

ABSTRACT

Despite their popularity, to date, the application of normalizing flows on categorical data stays limited. The current practice of using dequantization to map discrete data to a continuous space is inapplicable as categorical data has no intrinsic order. Instead, categorical data have complex and latent relations that must be inferred, like the synonymy between words. In this paper, we investigate \emph{Categorical Normalizing Flows}, that is normalizing flows for categorical data. By casting the encoding of categorical data in continuous space as a variational inference problem, we jointly optimize the continuous representation and the model likelihood. Using a factorized decoder, we introduce an inductive bias to model any interactions in the normalizing flow. As a consequence, we do not only simplify the optimization compared to having a joint decoder, but also make it possible to scale up to a large number of categories that is currently impossible with discrete normalizing flows. Based on Categorical Normalizing Flows, we propose GraphCNF a permutation-invariant generative model on graphs. GraphCNF implements a three step approach modeling the nodes, edges and adjacency matrix stepwise to increase efficiency. On molecule generation, GraphCNF outperforms both one-shot and autoregressive flow-based state-of-the-art.

연구 동기 및 목표

• 기존 정규화 흐름이 범주형 데이터를 다룰 수 없는 이유인 내재된 순서의 부재와 복잡한 잠복 관계를 해결하기 위해.
• 특히 큰 어휘 크기와 깊은 구조에서의 확장성 문제를 해결하기 위해 이산 정규화 흐름의 스케일링 문제를 해결하기 위해.
• 탈정량화 편향을 피하기 위해 범주형 변수에 대해 연속적이고 겹치지 않는 표현을 만들기 위해.
• 자기회귀적 순서에 의존하지 않기 때문에, 그래프와 시퀀스의 효율적이고 병렬적인 생성을 가능하게 하기 위해.
• 다양한 작업, 즉 분자 생성, 언어 모델링, 실생활의 표 형식 데이터에서 CNF의 효과성을 입증하기 위해.

제안 방법

• 범주형 데이터의 연속 공간에 대한 인코딩을 변분 추론 문제로 설정하여, 잠복 표현과 모델의 가능도를 동시에 최적화한다.
• 표현 학습과 상호작용 모델링을 분리하는 분해형 디코더를 사용하여, 정규화 흐름이 복잡한 의존성을 포착하도록 유도한다.
• 학습된 연속 잠복 공간에 정규화 흐름을 통해 연속적이고 역행 가능한 변환을 적용하여 공동 분포를 모델링한다.
• 노드 속성, 엣지 속성, 인접 행렬을 순차적으로 인코딩하는 순열에 불변인 방식으로 작동하는 3단계 기반의 흐름 기반 모델인 GraphCNF를 도입한다.
• 연속 코드의 사후 분포를 모델링하기 위해 혼합 밀도 네트워크를 인코더에 사용하며, 파라미터는 소규모 피드포워드 네트워크에 의해 결정된다.
• 모든 실험에서 단일 커플링 레이어를 사용하며, 커플링 네트워크는 LSTM 기반으로 구성되며, 안정성과 성능을 위해 하이퍼파라미터가 조정된다.

실험 결과

연구 질문

• RQ1 탈정량화에 의존하지 않고도 정규화 흐름을 범주형 데이터에 효과적으로 적용할 수 있는가? 이는 인위적인 순서를 부여하지 않는다.
• RQ2 큰 어휘나 복잡한 그래프와 같은 고기수성 카디널리티를 가진 범주형 데이터에 대해 정규화 흐름을 어떻게 스케일링할 수 있는가?
• RQ3 비자기회귀적이고 순열에 불변인 흐름 기반 모델을 사용함으로써 그래프 생성 성능을 향상시킬 수 있는가?
• RQ4 분해형 디코더를 통해 표현 학습과 상호작용 모델링을 분리하면 학습 안정성과 확장성 향상에 기여하는가?
• RQ5 간단한 혼합 모델을 사용한 인코딩이 언어, 집합, 그래프와 같은 다양한 종류의 범주형 데이터 유형에 일반화될 수 있는가?

주요 결과

• GraphCNF는 분자 생성에서 최신 기술을 초월하는 성능을 기록하며, 한 번의 흐름 기반 및 자동회귀 기반 기준 모델보다 뛰어난 성능을 보였다.
• Penn Treebank 데이터셋에서 Categorical Normalizing Flows는 1.27 ± 0.01 비트/문자의 테스트 손실을 기록했으며, 이는 LSTM 기준 모델과 동일한 성능을 달성했고, 병렬 샘플링이 가능했다.
• text8에서 Categorical Normalizing Flows는 1.45 ± 0.01 비트/문자의 성능을 기록했으며, 기준 LSTM 및 잠복 정규화 흐름 모델을 모두 초월했다.
• Wikitext103에서 Categorical Normalizing Flows는 5.43 ± 0.09 비트/문자의 성능을 기록했으며, 기준 LSTM 및 잠복 NF 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 신용카드 리스크 데이터셋에서 Categorical Normalizing Flows는 1.37 ± 0.03 비트/차원의 가능도를 기록했으며, 잠복 정규화 흐름 기준 모델과 유사한 성능를 보였고, 더 낮은 복원 오차를 기록했다.
• 이 방법은 큰 범주형 공간으로도 효과적으로 스케일링되며, 성능 저하 없이 최대 10,000개의 단어 카테고리가 포함된 데이터셋에서도 학습이 가능하다.