[論文レビュー] Equivariant Hamiltonian Flows

Danilo Jimenez Rezende, Sébastien Racanière+2 more|arXiv (Cornell University)|Sep 30, 2019

Topic Modeling参考文献 24被引用数 41

ひとこと要約

既知のローカル対称変換のリ Lie-代数に対して不変な密度を学習するための等変ハミニトニアン流を導入し、等変性を強制する方法と、Noetherの定理に基づく単純な補題から等変流から不変密度を構築する方法を示す。

ABSTRACT

This paper introduces equivariant hamiltonian flows, a method for learning expressive densities that are invariant with respect to a known Lie-algebra of local symmetry transformations while providing an equivariant representation of the data. We provide proof of principle demonstrations of how such flows can be learnt, as well as how the addition of symmetry invariance constraints can improve data efficiency and generalisation. Finally, we make connections to disentangled representation learning and show how this work relates to a recently proposed definition.

研究の動機と目的

• データ効率と一般化を向上させるために、既知の不変性/等変性を流れベースの密度モデルへ組み込む動機。
• 連結 Lie 群に対して学習済みハミニトニアン流の等変性を強制する一般的なアルゴリズムを提案する。
• ノイターの定理に基づく単純な補題を用いて、等変流から不変密度を構成する方法を示す。
• 対称性制約がデータ効率を高め、過学習を抑制することを実験を通じて示す。

提案手法

• 密度変換を状態 s=(q,p) 上のハミニトニアン流として表現し、s' は Hamiltonian H(s) との Poisson括弧のオイラー離散化によって得られる。
• 安定した流れのステップのために、体積保存かつ可逆なシンプレクト計算子（例：Leap-Frog）を用いる。
• 基底不変密度 pi(s) を採用し、それを一連のハミニトニアン流を通して変換して p_theta(s_n) を得る。
• 潜在運動量 p_n を変分エンコーダ h_phi(p_n|q_n) を介して扱い、ELBO で訓練し、全周辺和の計算困難を回避する。
• 対称性生成子 g_k に対して {g_k, H} = 0 を要求することにより対称性制約を課し、制約付き最適化 (min_theta,max_lambda L) を介して適用する。
• Lemma 1 を証明する：すべての k について {g_k, H} = {g_k, pi} = 0 なら、誘導密度 p は対称性生成子の下で不変である。

実験結果

リサーチクエスチョン

• RQ1 ハミニトニアン流を既知の対称群に対して等変にしつつ、密度の表現能力を保てるか？
• RQ2 対称性生成子を制約として課すことで、流れベースのモデルのデータ効率と一般化は向上するか？
• RQ3 全状態 s がハミニトニアン流の下で進化する場合、q に対する不変な周辺分布をどう保証するか？
• RQ4 この枠組みで等変流と分離表現との関係はどうなるか？
• RQ5 このアプローチは単純な不変基底密度を任意に複雑な不変密度へ変換できるか？

主な発見

• 等変ハミニトニアン流は、Poisson括弧を介して対称性を強制することにより、不変な基底密度から不変密度を生み出せる。
• 対称性制約の追加は、無限データと有限データの両方の領域でデータ効率を向上させ、有限データ領域での過学習を減らす。
• この枠組みは多峰性密度を学習でき、学習されたポテンシャル U(q) はデータモードに対応する複数の局所最小値を示す。
• この方法は、データモードと引力点が一致する解釈可能な流れを生み、多峰性密度学習実験で実証される。
• 適切な生成子とともに運動エネルギー K(p) とポテンシャルエネルギー U(q) に分解した H(q,p)=K(p)+U(q) は、q の周辺分布における不変性を保持する。
• このアプローチは、潜在サブ空間全体で群作用構造を保持することにより、分離表現との関連を持つ。