[論文レビュー] InfoCNF: An Efficient Conditional Continuous Normalizing Flow with Adaptive Solvers

Tan M. Nguyen, Animesh Garg+2 more|arXiv (Cornell University)|Dec 9, 2019

Time Series Analysis and Forecasting参考文献 35被引用数 8

ひとこと要約

InfoCNFは、潜在空間をクラス固有の教師ありコードと共有の教師なしコードに分割することで、効率的な条件付き連続正規化フローを提案する。これによりモデルの複雑さとNFEが低減される。さらに、ゲーティングネットワークを用いてODEソルバの誤差許容値を学習することで、訓練速度と性能が向上し、CIFAR10においてより高いテスト精度と低い尤度が達成され、関数評価回数も削減される。

ABSTRACT

Continuous Normalizing Flows (CNFs) have emerged as promising deep generative models for a wide range of tasks thanks to their invertibility and exact likelihood estimation. However, conditioning CNFs on signals of interest for conditional image generation and downstream predictive tasks is inefficient due to the high-dimensional latent code generated by the model, which needs to be of the same size as the input data. In this paper, we propose InfoCNF, an efficient conditional CNF that partitions the latent space into a class-specific supervised code and an unsupervised code that shared among all classes for efficient use of labeled information. Since the partitioning strategy (slightly) increases the number of function evaluations (NFEs), InfoCNF also employs gating networks to learn the error tolerances of its ordinary differential equation (ODE) solvers for better speed and performance. We show empirically that InfoCNF improves the test accuracy over the baseline while yielding comparable likelihood scores and reducing the NFEs on CIFAR10. Furthermore, applying the same partitioning strategy in InfoCNF on time-series data helps improve extrapolation performance.

研究の動機と目的

• 高次元のクラス固有の潜在コードを用いる既存の条件付きCNF手法の非効率性に対処し、モデルの複雑さとNFEを低減すること。
• 教師ありと教師なしの潜在表現を分離することで、条件付きCNFにおける訓練効率と性能を向上させること。
• ODEソルバにおける関数評価回数（NFE）をモデル性能を損なわずに低減すること。
• ゲーティングネットワークを用いてODEソルバの適応的誤差許容値を学習するメカニズムを構築し、手動でのチューニングを置き換えること。
• 提案された条件付け戦略により、時系列モデリングにおけるより良い一般化と外挿性能を実現すること。

提案手法

• InfoCNFは潜在コードを2つの部分に分割する：クラス固有の教師ありコードと共有の教師なしコード。これにより、ラベル付きデータの効率的利用が可能になる。
• 教師ありコードは、条件付き生成と分類の両方で使用され、分類器のサイズを縮小し、特徴の分離性を向上させる。
• モデルは尤度 $ p(\mathbf{x}|y) = p(\mathbf{z}_y|y)p(\mathbf{z}_u) $ を最大化する。これは相互情報量の最大化に対応し、分離可能な表現を促進する。
• ゲーティングネットワーク（例：CNN）を訓練し、入力バッチに基づいてODEソルバの最適な誤差許容値を予測することで、手動チューニングを置き換える。
• この手法により、ODEソルバの精度を動的に学習することで、CNFにおける適応的計算が可能になり、訓練速度とロバスト性が向上する。
• 本手法は、CIFAR10における画像生成と、合成時系列データにおける軌道フィッティングおよび外挿に適用して検証された。

実験結果

リサーチクエスチョン

• RQ1 潜在コードを教師ありと教師なしのコンponentsに分割することで、条件付きCNFの効率性と性能が向上するか？
• RQ2 データからODEソルバの誤差許容値を学習することで、CNFにおける訓練速度の向上とモデル一般化性能の向上が達成されるか？
• RQ3 提案された条件付け戦略は、時系列モデリングタスクにおける外挿性能を向上させるか？
• RQ4 学習可能な許容誤差と大規模バッチ学習および増加した学習率を組み合わせた場合、モデルの収束性と性能にどのような影響を与えるか？
• RQ5 分割戦略は、尤度や精度を維持または向上させながら、NFEをどの程度低減できるか？

主な発見

• InfoCNFは、CIFAR10においてベースラインのCCNFと同等の尤度スコアを維持しながら、より高いテスト精度を達成した。
• 関数評価回数（NFE）を顕著に低減し、訓練効率が向上した。
• ゲーティングネットワークを用いてODEソルバの許容誤差を学習することで、固定値または手動チューニングのものと比較して、収束が速く、性能が優れた。
• 分割戦略により、時系列データにおける外挿性能が向上し、特に未学習ドメインにおいて顕著な改善が見られた（合成二重らせんデータで確認）。
• 学習可能な許容誤差と大規模バッチ学習および増加した学習率を組み合わせることで、NLLとNFEの両方がさらに低減され、モデル性能が向上した。
• InfoCNFにおける交差エントロピー損失は、相互情報量の最大化に対応しており、教師ありコードと入力データ間の分離可能な表現を促進する。