[論文レビュー] Wasserstein Iterative Networks for Barycenter Estimation

Alexander Korotin, Vage Egiazarian+2 more|arXiv (Cornell University)|Jan 28, 2022

Aesthetic Perception and Analysis被引用数 4

ひとこと要約

本稿では、生成ニューラルネットワークソルバーを用いた反復的固定点最適化に基づく、バイアスのない新しいアルゴリズムを提案する。これは連続確率測度のWasserstein-2バーチャルセンターを推定するもので、正則化や入力凸ニューラルネットワーク（ICNN）に依存しない。本手法は任意のアーキテクチャを許容し、大規模な評価のための新しいデータセットAve, celeba!を導入。画像生成タスクにおいて、最先端のFIDスコアを達成した。

ABSTRACT

Wasserstein barycenters have become popular due to their ability to represent the average of probability measures in a geometrically meaningful way. In this paper, we present an algorithm to approximate the Wasserstein-2 barycenters of continuous measures via a generative model. Previous approaches rely on regularization (entropic/quadratic) which introduces bias or on input convex neural networks which are not expressive enough for large-scale tasks. In contrast, our algorithm does not introduce bias and allows using arbitrary neural networks. In addition, based on the celebrity faces dataset, we construct Ave, celeba! dataset which can be used for quantitative evaluation of barycenter algorithms by using standard metrics of generative models such as FID.

研究の動機と目的

• 連続確率測度のWasserstein-2バーチャルセンターを計算するスケーラブルでバイアスのないアルゴリズムの開発。
• エントロピー的または二乗正則化に基づく従来手法の制限を克服し、バーチャルセンター推定にバイアスを生じさせない。
• 入力凸ニューラルネットワーク（ICNN）を超えて、表現力のある非凸ニューラルネットワークをバーチャルセンター推定に活用可能にする。
• 大規模かつ高次元のベンチマークデータセット—Ave, celeba!—を構築し、バーチャルセンターアルゴリズムの定量的評価を可能にする。
• 実世界の画像分布を用いた標準化された評価を通じて、最適輸送研究の透明性と再現可能性を向上させる。

提案手法

• 理論的枠組みに基づき、Alvarezら（2016）の理論を応用した固定点反復スキームを採用。バーチャルセンター計算を固定点問題に再定式化する。
• ニューラルネットワークでパラメータ化された生成モデル $ G_{\xi} $ を用い、進化する測度 $ \mathbb{P}_{\xi} $ を表現。この測度は反復的に更新され、バーチャルセンターに近づく。
• ニューラルネットワークを用いた最適輸送ソルバーにより、入力測度と進化する測度間の最適輸送マップを計算。これにより、バーチャルセンター目的関数の勾配ベース最適化が可能になる。
• アルゴリズムは交互最適化により目的関数を最小化する。固定点ループ内で輸送マップと生成ネットワークを交互に更新する。
• 生成器に凸性制約を課さないため、ICNNを超える一般で表現力のあるアーキテクチャの使用が可能になる。
• Ave, celeba!データセットは、綺麗な顔画像に劣化操作（グレースケール化、ランダムな反転、並べ替え）を適用し、元の綺麗な画像が真のバーチャルセンターである3つのサブセットを生成する。

実験結果

リサーチクエスチョン

• RQ1 一般のニューラルネットワーク生成器を用いた固定点反復アルゴリズムは、エントロピー的または二乗正則化を用いずに、バイアスのないWasserstein-2バーチャルセンター推定を達成できるか？
• RQ2 非凸的かつ表現力のある生成器は、バーチャルセンター推定タスクにおいて、入力凸ニューラルネットワーク（ICNN）と比較してどの程度優れるか？
• RQ3 真のバーチャルセンターが既知の高次元で大規模なベンチマークデータセットを構築できるか？
• RQ4 FIDスコアなどの標準指標で測った場合、提案手法は競争力のある生成モデルとして機能するか？
• RQ5 バーチャルセンターを通じて輸送マップを学習することで、ドメイン間画像変換が可能になるか？

主な発見

• 提案手法を生成モデルとして用いた場合、CelebAデータセットで最先端のFIDスコアを達成し、最近のWGANベースのモデルと同等の性能を示した。
• Ave, celeba!データセットの64×64 RGB顔画像のバーチャルセンターを、元の綺麗な画像に対応するものとして正確に回復できた。
• MNISTおよびFashion-MNISTデータセットにおいて、数字クラス（例：0と1）のバーチャルセンターを計算したが、その結果は入力画像のピクセル単位の平均と視覚的に類似しており、幾何的整合性が確認された。
• バーチャルセンターを通じて画像を押し通すことで、実用的なドメイン間画像（例：オレンジ色の靴やバッグ）を生成でき、スタイル転送やデータ変換の応用に有効であることが示された。
• Ave, celeba!データセットにより、バーチャルセンターアルゴリズムの大規模な定量的評価が可能になった。劣化した顔画像サブセットのバーチャルセンターは、元の綺麗な顔画像に正確に回復され、信頼性の高いベンチマークを提供した。
• 絶対連続性を維持するために可逆的または正規化フローを必要とせず、実験的結果から標準的なGANスタイルの生成器で十分に実用的であることが示された。