[論文レビュー] Flat Metric Minimization with Applications in Generative Modeling

Thomas Möllenhoff, Daniel Cremers|arXiv (Cornell University)|May 12, 2019

3D Shape Modeling and Analysis参考文献 49被引用数 1

ひとこと要約

この論文は、データを確率分布ではなく、一般化された向き付き多様体であるk-電流として扱う生成モデルフレームワーク、FlatGANを提案する。平坦距離を用いて生成済みデータ電流と実際のデータ電流の距離を最小化する。この手法により、データ多様体の接ベクトルを明示的にモデル化することで、不変な、解釈可能で等長性を保つ潜在表現を実現し、教師なし条件下で時系列データおよび3次元シーンモデリングにおいて最先端の分離性を達成する。

ABSTRACT

We take the novel perspective to view data not as a probability distribution but rather as a current. Primarily studied in the field of geometric measure theory, $k$-currents are continuous linear functionals acting on compactly supported smooth differential forms and can be understood as a generalized notion of oriented $k$-dimensional manifold. By moving from distributions (which are $0$-currents) to $k$-currents, we can explicitly orient the data by attaching a $k$-dimensional tangent plane to each sample point. Based on the flat metric which is a fundamental distance between currents, we derive FlatGAN, a formulation in the spirit of generative adversarial networks but generalized to $k$-currents. In our theoretical contribution we prove that the flat metric between a parametrized current and a reference current is Lipschitz continuous in the parameters. In experiments, we show that the proposed shift to $k>0$ leads to interpretable and disentangled latent representations which behave equivariantly to the specified oriented tangent planes.

研究の動機と目的

• 標準的な生成モデルがデータを分布として扱うが、方向性や接平面といった幾何的構造を無視するという限界を是正する。
• 回転、照明、視点、時間的変化などの指定されたデータ多様体の摂動に対して等長性を保つ表現学習を可能にする。
• 幾何測度論、特にk-電流と平坦距離を用いた生成モデリングの形式化を通じて、従来のGANやVAEの代替的で原理的根拠のあるフレームワークを提供する。
• 接ベクトル情報の組み込みが、教師なし設定下で分離可能で解釈可能な潜在表現をもたらすことを実証する。

提案手法

• 各データポイントが向き付きk次元接平面に関連付けられたk-電流Tとしてデータを表現する。
• 生成モデルを写像g: Z → Xによるプッシュフォワード写像として定義し、潜在電流S ∈ N₁,Z(Rˡ)をデータ空間に持ち上げ、g♯S ∈ N₁,X(Rᵈ)を形成する。
• 正則化された損失Fλ(g♯S, T)を用いて、生成電流g♯Sと実際のデータ電流Tの間の平坦距離を最小化する。λはトレードオフを制御する。
• スケーリングされた平坦ノルム（Morgan & Vixlie, 2007）を距離測度として用い、弱∗収束をメトリクス化し、パラメータにおけるリプシッツ連続性をサポートする。
• 逆誤差伝搬によるヤコビアン・ベクトル積（Rop）を2回の追加バックワードパスを通じて実装し、エンドツーエンドの学習を可能にする。
• k=0の場合、適切な条件下でWasserstein GANに還元され、既存のGANフレームワークと一貫性を示す。

実験結果

リサーチクエスチョン

• RQ1 確率分布ではなくk-電流としてデータを扱うことで、生成モデリングにおけるより構造的で解釈可能な潜在表現が得られるか？
• RQ2 時間的差分や幾何変換などの指定された接ベクトルに等長性を強制することで、潜在空間における分離性が向上するか？
• RQ3 特に最適化と一般化の観点から、k-電流の比較に適した安定した距離測度として平坦距離が適しているか？
• RQ4 時間的教師なし条件下で、動画データに意味のある時間的ダイナミクス（例：時間の矢印）を同定できるか？
• RQ5 接平面といった幾何的構造の組み込みが、標準的なGANと比較して生成サンプルの品質と分離性に与える影響は何か？

主な発見

• パrametrized電流と基準電流の間の平坦距離は、パラメータに関してリプシッツ連続であり、安定した最適化と一般化の保証を提供する。
• 2次元円形データセットにおいて、k=1のFlatGANは、円に沿って一貫して動く解釈可能な角度付き潜在コードを生成するが、k=0のWGAN-GPはこのような構造を欠いている。
• MNISTにおいて、数字の回転と拡大を介して接ベクトルを指定すると、ストロークの太さや方向といった解釈可能な要因に対応する分離可能な潜在コードが得られる。
• smallNORBデータセットにおいて、潜在コードz1, z2, z3はそれぞれ照明、高度、方位の変化に対応しており、3次元視点変化に対する等長性を示している。
• tinyvideosデータセットにおいて、シャッフルされたフレームで学習させたにもかかわらず、モデルは時間の流れ（例：波の動き、歩行する人）を一貫した時間的表現として学習している。
• 相互情報量の最大化を明示的に最適化しないにもかかわらず、分離可能な表現が得られていることから、幾何的構造そのものが意味のある分離性を導く可能性を示唆している。