[논문 리뷰] InfoCNF: An Efficient Conditional Continuous Normalizing Flow with Adaptive Solvers

Tan M. Nguyen, Animesh Garg외 2명|arXiv (Cornell University)|2019. 12. 09.

Time Series Analysis and Forecasting참고 문헌 35인용 수 8

한 줄 요약

InfoCNF는 잠재 공간을 클래스별로 지도 학습된 코드와 공유되는 비지도 학습된 코드로 분할하여 모델 복잡도와 NFE를 감소시키는 효율적인 조건부 연속 정규화 흐름을 제안한다. 또한 게이팅 네트워크를 통해 ODE 해법기의 오차 허용 범위를 학습함으로써 훈련 속도와 성능을 향상시키며, CIFAR10에서 더 높은 테스트 정확도와 낮은 가능도를 달성하면서 기능 평가 횟수를 줄였다.

ABSTRACT

Continuous Normalizing Flows (CNFs) have emerged as promising deep generative models for a wide range of tasks thanks to their invertibility and exact likelihood estimation. However, conditioning CNFs on signals of interest for conditional image generation and downstream predictive tasks is inefficient due to the high-dimensional latent code generated by the model, which needs to be of the same size as the input data. In this paper, we propose InfoCNF, an efficient conditional CNF that partitions the latent space into a class-specific supervised code and an unsupervised code that shared among all classes for efficient use of labeled information. Since the partitioning strategy (slightly) increases the number of function evaluations (NFEs), InfoCNF also employs gating networks to learn the error tolerances of its ordinary differential equation (ODE) solvers for better speed and performance. We show empirically that InfoCNF improves the test accuracy over the baseline while yielding comparable likelihood scores and reducing the NFEs on CIFAR10. Furthermore, applying the same partitioning strategy in InfoCNF on time-series data helps improve extrapolation performance.

연구 동기 및 목표

• 고차원의 클래스별 잠재 코드를 사용하여 모델 복잡도와 NFE를 증가시키는 기존 조건부 CNF 방법의 비효율성을 해결하기 위해.
• 지도 학습 및 비지도 학습 잠재 표현을 분리하여 조건부 CNF의 훈련 효율성과 성능을 향상시키기 위해.
• ODE 해법기의 기능 평가 횟수(NFE)를 성능 저하 없이 감소시키기 위해.
• 수동 조정을 대체하기 위해 게이팅 네트워크를 사용하여 ODE 해법기의 적응형 오차 허용 범위를 학습할 수 있는 메커니즘을 개발하기 위해.
• 제안된 조건화 전략을 통해 시계열 모델링에서 더 나은 일반화 및 외삽 성능을 달성하기 위해.

제안 방법

• InfoCNF는 잠재 코드를 두 부분으로 분할한다: 클래스별 지도 학습된 코드와 공유되는 비지도 학습된 코드로, 레이블이 있는 데이터의 효율적 사용을 가능하게 한다.
• 지도 학습된 코드는 조건부 생성과 분류 모두에 사용되며, 분류기 크기를 줄이고 특징의 분리도 향상시킨다.
• 모델은 가능도 $ p(\mathbf{x}|y) = p(\mathbf{z}_y|y)p(\mathbf{z}_u) $를 최대화하며, 이는 상호정보량 최대화에 해당하여 표현의 분리도를 장려한다.
• 게이팅 네트워크(예: CNN)는 입력 배치 기반으로 ODE 해법기의 최적 오차 허용 범위를 예측하여 수동 조정을 대체한다.
• 해법기 정밀도를 동적으로 학습함으로써 CNF에서 적응형 계산을 가능하게 하여 훈련 속도와 강건성을 향상시킨다.
• 이 방법은 이미지 생성에 대해 CIFAR10에서, 시계열 데이터에 대해 궤도 피팅 및 외삽에 대해 시험하였다.

실험 결과

연구 질문

• RQ1 잠재 코드를 지도 학습 및 비지도 학습 구성요소로 분할하는 것이 조건부 CNF의 효율성과 성능을 향상시키는가?
• RQ2 데이터 기반으로 ODE 해법기의 오차 허용 범위를 학습하는 것이 CNF에서 더 빠른 훈련과 더 나은 일반화 성능을 이끌어내는가?
• RQ3 제안된 조건화 전략이 시계열 모델링 과제에서 외삽 성능을 향상시키는가?
• RQ4 학습 가능한 허용 오차와 대용량 배치 훈련, 증가된 학습률의 조합이 모델 수렴 및 성능에 어떤 영향을 미치는가?
• RQ5 분할 전략이 가능도나 정확도를 유지하거나 향상시키면서 NFE를 얼마나 줄이는가?

주요 결과

• InfoCNF는 CIFAR10에서 기준선 CCNF보다 더 높은 테스트 정확도를 달성하면서 유사한 가능도 점수를 유지한다.
• 모델은 기능 평가 횟수(NFE)를 크게 감소시켜 훈련 효율성을 향상시킨다.
• 게이팅 네트워크를 통한 ODE 해법기 오차 허용 범위 학습은 고정되거나 수동으로 조정된 허용 범위보다 더 빠른 수렴과 더 나은 성능을 이끈다.
• 분할 전략은 특히 새로운 도메인에서의 외삽 성능을 향상시키며, 합성 이중 방향 나선 데이터셋에서 이를 입증하였다.
• 학습 가능한 허용 오차와 대용량 배치 훈련, 증가된 학습률의 조합은 모델 성능을 더욱 향상시키며, NLL과 NFE를 모두 감소시킨다.
• InfoCNF의 교차 엔트로피 손실은 상호정보량 최대화에 해당하며, 이는 지도 학습된 코드와 입력 데이터 간의 분리된 표현을 장려한다.