[論文レビュー] Piecewise Normalizing Flows

H. T. J. Bevins, Will Handley+1 more|arXiv (Cornell University)|May 4, 2023

Machine Learning and Data Classification被引用数 4

ひとこと要約

本稿では、ターゲットデータを事前にクラスタリングすることで、各クラスタに対して個別に正規化フローを訓練する、区分的正規化フロー（PNF）を提案する。各クラスタのトポロジーを標準正規分布と一致させることで、従来の手法（Stimperら、2022年）に比べ、特に早期停止時においても高い再現精度を達成し、並列学習が可能で、複雑な分布の表現力も向上する。

ABSTRACT

Normalizing flows are an established approach for modelling complex probability densities through invertible transformations from a base distribution. However, the accuracy with which the target distribution can be captured by the normalizing flow is strongly influenced by the topology of the base distribution. A mismatch between the topology of the target and the base can result in a poor performance, as is typically the case for multi-modal problems. A number of different works have attempted to modify the topology of the base distribution to better match the target, either through the use of Gaussian Mixture Models (Izmailov et al., 2020; Ardizzone et al., 2020; Hagemann & Neumayer, 2021) or learned accept/reject sampling (Stimper et al., 2022). We introduce piecewise normalizing flows which divide the target distribution into clusters, with topologies that better match the standard normal base distribution, and train a series of flows to model complex multi-modal targets. We demonstrate the performance of the piecewise flows using some standard benchmarks and compare the accuracy of the flows to the approach taken in Stimper et al. (2022) for modelling multi-modal distributions. We find that our approach consistently outperforms the approach in Stimper et al. (2022) with a higher emulation accuracy on the standard benchmarks.

研究の動機と目的

• ベース分布とターゲット分布のトポロジーの不一致により、標準正規化フローが多モーダル分布に対して性能を発揮できない問題に対処すること。
• ターゲット分布をトポロジカルに単純なクラスタに分割することで、フローの表現力と学習効率を向上させること。
• 逆写像性を維持しつつ、並列学習を可能にする微分可能かつ全単射なフレームワークを構築すること。
• ベンチマーク多モーダル分布において、学習拒否サンプリング（Stimperら、2022年）を含む最先端手法と比較して優れた性能を示すこと。

提案手法

• まず、微分可能クラスタリングアルゴリズムを用いてターゲットサンプルをクラスタリングし、各サンプルをk個のクラスタのいずれかに割り当てる。
• 各クラスタに対して、標準正規分布をベースに持つ個別の正規化フロー（例：MAF）を訓練する。
• 各フローは、その割り当てられたクラスタ内でのターゲット分布の条件付き分布への可逆変換を学習する。
• クラスタ割り当てが既知の場合、全体のモデルは微分可能かつ全単射であり、全ターゲット分布にわたるサンプリングと密度推定が可能である。
• アーキテクチャにより、個々のフローを並列で訓練でき、全体の学習時間を短縮し、スケーラビリティを向上させる。
• 標準ベンチマークおよび物理的データセットを用いて評価し、単一フローおよび学習ベース手法と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 多モーダルターゲット分布をクラスタに分割することで、単一のベース分布を用いる標準フローと比較して、正規化フローのモデリング精度が向上するか？
• RQ2 学習拒否サンプリング（Stimper ら、2022年）と比較して、区分的正規化フローの密度推定精度と学習効率はどのように異なるか？
• RQ3 区分的アプローチは、標準正規化フローが抱える問題である「モード間の不自然なブリッジの形成」をどの程度軽減するか？
• RQ4 クラスタリングを用いることで、特に早期停止時における学習収束性と計算コストが改善されるか？
• RQ5 クラスタ割り当てが固定され、クラスタリングプロセスが微分可能である場合、微分可能かつ全単射性を維持しつつ、複数のフローを並列で学習可能か？

主な発見

• 標準多モーダルベンチマークにおいて、PNFアプローチはStimper ら（2022年）の手法を常に上回る再現精度を示し、特に早期停止時において顕著である。
• 図1による視覚的確認で、各クラスタのトポロジーをガウスベース分布と一致させることで、モード間の不自然なブリッジの形成が著しく低減されている。
• 各クラスタごとの個別フローを並列で訓練可能であり、学習効率とスケーラビリティが顕著に向上している。
• 物理的データセット（HEPMASS、MINIBOONE、POWER、GAS）において、PNFは標準MAFと同等の性能を示したが、シルエットスコアは最小のクラスタ数（k=2）を支持しており、これらのデータセットには限定的な多モーダル性がある可能性を示唆している。
• クラスタ割り当てが固定され、クラスタリングプロセスが微分可能である限り、微分可能性と全単射性を維持でき、正規化フローの核となる利点を保っている。
• データ駆動型選択バイアスの緩和に有効であり、ユーザー定義のクラスタ重み付けによるデータ生成が可能であることが示唆された。