[論文レビュー] Normalizing Flows on Tori and Spheres

Danilo Jimenez Rezende, George Papamakarios+5 more|arXiv (Cornell University)|Feb 6, 2020

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 58

ひとこと要約

論文は、S1から高次元へ再帰的に構築することによって、コンパクト多様体（円、トーラス、球）に特化した表現力豊かで数値的に安定な正規化フローを開発し、合成的な指向データ targets に適用したことを示す。

ABSTRACT

Normalizing flows are a powerful tool for building expressive distributions in high dimensions. So far, most of the literature has concentrated on learning flows on Euclidean spaces. Some problems however, such as those involving angles, are defined on spaces with more complex geometries, such as tori or spheres. In this paper, we propose and compare expressive and numerically stable flows on such spaces. Our flows are built recursively on the dimension of the space, starting from flows on circles, closed intervals or spheres.

研究の動機と目的

• 標準的なユークリッドフローと非ユークリッドデータの位相の不一致を動機づけ、解決する。
• S1、TD (トーラス)、および SD (球面) 上で、簡易な構成要素から再帰的に構築された表現力豊かな正規化フローを提案する。
• 非ユークリッド多様体上での密度評価とサンプリングの数値的安定性と扱いやすさを確保する。
• 提案する多様体認識フローを、方向統計学や幾何学的フローの従来のアプローチと比較する。

提案手法

• S1 上で境界条件を用いて有効な円の微分同相を保証するフローを構築する（式3–6）。
• TD 上のトーラス・フローを、円の微分同相を自己回帰的に組み合わせて p(theta1,...,thetaD) として構築する。
• SD 上の球面フローを、円柱写像と密度更新を再帰的に用いて開発し、明示的な密度補正項を提供する。
• 円特有の三つの微分同相を導入する：モビウス変換、円 spline、非稠密投影（NCP）。
• 再帰的な (s1-c1) 組み合わせと SD のべき指数写像フローの変種を用いて高次元へ拡張する。
• 密度変化の公式と安定性の考慮（例：式15–20）を提供し、計算上のトレードオフを議論する。

実験結果

リサーチクエスチョン

• RQ1 S1、TD、SD のような非ユークリッド多様体上で正規化フローを定義・学習するにはどうすればよいか。
• RQ2 円、トーラス、球で表現力豊かでありながら数値的に安定したフローをどのように構成できるか。
• RQ3 マニホールド認識フローは、鋭い、多峰性、相関する指向密度のモデル化において従来のユークリッドフローとどう比較されるか。
• RQ4 提案された球面・トーラスフローの密度更新ルールと計算コストはいくつか。
• RQ5 指数写像ベースのフローは、球面上で代替的かつ扱いやすいオプションを提供できるか。

主な発見

• コンパクトな連結多様体上で、表現力があり数値的に安定な円、トーラス、および球面フローを提案・検証する。
• トーラスの密度は、円ベースの条件付きトランスフォーマーを用いて自己回帰的にモデリングできることを示す。
• 円柱変換を用いた再帰ベースの球面フローを、解析的に扱える密度更新とともに実証し、安定性を議論する。
• S1 フローを構築するための三つの円の微分同相（モビウス、円形スプライン、非連結投影）を提示する。
• ESS ベースの評価で、鋭く、多峰性、相関する密度を学習できることを示す合成ターゲットに対する実証結果を提供する。
• 再帰構築の密度更新式と安定性の条件を満たす有限な密度を確保する条件を議論する。