[論文レビュー] Exact Feature Distribution Matching for Arbitrary Style Transfer and Domain Generalization

Yabin Zhang, Minghan Li+3 more|arXiv (Cornell University)|Mar 15, 2022

Multimodal Machine Learning Applications被引用数 16

ひとこと要約

本稿では、深層特徴の経験的累積分布関数（eCDF）を正確に一致させるために、Sort-Matchingアルゴリズムを用いた正確なヒストグラムマッピング（EHM）により、Exact Feature Distribution Matching（EFDM）という新しい手法を提案する。EFDMは、任意のスタイル変換およびドメイン一般化において、リアルタイムの推論速度を維持しながら、最新のSOTA結果を達成し、最小限の計算コストで優れた性能を発揮する。

ABSTRACT

Arbitrary style transfer (AST) and domain generalization (DG) are important yet challenging visual learning tasks, which can be cast as a feature distribution matching problem. With the assumption of Gaussian feature distribution, conventional feature distribution matching methods usually match the mean and standard deviation of features. However, the feature distributions of real-world data are usually much more complicated than Gaussian, which cannot be accurately matched by using only the first-order and second-order statistics, while it is computationally prohibitive to use high-order statistics for distribution matching. In this work, we, for the first time to our best knowledge, propose to perform Exact Feature Distribution Matching (EFDM) by exactly matching the empirical Cumulative Distribution Functions (eCDFs) of image features, which could be implemented by applying the Exact Histogram Matching (EHM) in the image feature space. Particularly, a fast EHM algorithm, named Sort-Matching, is employed to perform EFDM in a plug-and-play manner with minimal cost. The effectiveness of our proposed EFDM method is verified on a variety of AST and DG tasks, demonstrating new state-of-the-art results. Codes are available at https://github.com/YBZh/EFDM.

研究の動機と目的

• ガウス分布の仮定に基づく平均と標準偏差のみに依存する従来の特徴分布マッピング手法の限界を解消すること。
• 高次統計量の近似や不完全なモーメントマッチングによる不正確さを克服し、深層特徴空間における正確な分布マッチングを実現すること。
• 視覚タスクにおけるリアルタイム応用に適した、高速で即挿し可能な正確な特徴分布マッピング手法の開発。
• eCDFマッチングによる正確な分布一致を活用し、任意のスタイル変換（AST）およびドメイン一般化（DG）の性能向上。
• ドメイン一般化における多様で高品質な特徴拡張を生成するためのEFDMの有効性を示すこと。

提案手法

• 深層特徴の経験的累積分布関数（eCDF）をソースドメインとターゲットドメイン間で正確に一致させることで、Exact Feature Distribution Matching（EFDM）を提案する。
• 古典的ヒストグラムマッピング（HM）が同値を統合するという限界を解消するため、特徴空間で正確なヒストグラムマッピング（EHM）を採用し、正確なeCDF一致を実現する。
• 順序を保持する同等値の処理が可能で、O(n log n)の計算量で効率的な要素ごとの変換が可能な、高速なEHMの変種「Sort-Matchingアルゴリズム」を採用する。
• 従来のAdaINスタイルの損失を置き換えまたは強化するため、eCDFマッチングに基づく新しいスタイル損失を導入し、任意のスタイル変換におけるスタイリゼーション品質の向上。
• EFDMを拡張し、Exact Feature Distribution Mixing（EFDMix）を提案することで、ドメイン一般化のための多様で高品質なデータ拡張を可能にする。
• 既存のネットワークと互換性があり、最小限のアーキテクチャ変更でエンドツーエンド学習可能な、プラグアンドプレイな実装を実現する。

実験結果

リサーチクエスチョン

• RQ1 深層特徴空間における経験的累積分布関数（eCDF）の正確な一致は、平均と分散の一致に比べて、任意のスタイル変換において優れた性能をもたらすか？
• RQ2 正確な分布一致を可能にするEFDMは、改善された特徴拡張を通じて、ドメイン一般化タスクにおいて既存手法を上回るか？
• RQ3 Sort-Matchingによる正確なeCDFマッチングは、古典的ヒストグラムマッピング（HM）のような近似手法に比べ、分布の正確性と計算効率の面でどのように優れているか？
• RQ4 EFDMが暗黙的に捉える高次特徴統計量は、視覚的品質と一般化性能の向上にどの程度寄与しているか？
• RQ5 EFDMは、特に既存のSOTA手法と比較して性能を落とさずに、リアルタイム応用に効率的に導入可能か？

主な発見

• EFDMは、複数の任意のスタイル変換ベンチマークで新たなSOTA性能を達成し、ユーザー研究でも他手法と比較して最も高い支持を得た。
• PACSデータセットでは、ドメイン一般化で88.7%の精度を達成し、前回SOTAを1%以上上回り、正確な分布マッチングの有効性を実証した。
• Tesla V100 GPU上で512×512の画像に対して256 FPSの推論速度を達成し、AdaINと同等の速度を維持しながらも、はるかに優れた性能を発揮した。
• EFDMはAdaMeanおよびAdaStdの変種を上回り、eCDF一致による高次統計量の暗黙的マッチングが、スタイリゼーションと一般化性能の向上に寄与することを示した。
• EFDMix（EFDMを拡張したデータ拡張手法）は、より多様で効果的な特徴拡張を生成し、ドメイン一般化タスクにおける一般化性能を向上させた。
• 同値の処理方法（保存、ランダム、近隣ベースのソート）にかかわらず、同程度の性能を示したため、Sort-Matchingが高速性ゆえに最適な選択であることが確認された。