[論文レビュー] Quantitative Evaluation of Style Transfer

Mao-Chuang Yeh, Shuai Tang+2 more|arXiv (Cornell University)|Mar 31, 2018

Image Enhancement Techniques参考文献 29被引用数 10

ひとこと要約

本稿は、スタイル転送の効果性（スタイル忠実度）と整合性（オブジェクト構造の保存）を測るECプロットを用いた定量的評価フレームワークを導入する。クロスレイヤーのグラム行列制御が、特に攻撃的なスタイル重み設定下で、対称性に起因する不安定性が低減されるため、従来のレイヤ内手法を上回ることを示しており、人間の好みの研究によってその指標の予測力が裏付けられている。

ABSTRACT

Style transfer methods produce a transferred image which is a rendering of a content image in the manner of a style image. There is a rich literature of variant methods. However, evaluation procedures are qualitative, mostly involving user studies. We describe a novel quantitative evaluation procedure. One plots effectiveness (a measure of the extent to which the style was transferred) against coherence (a measure of the extent to which the transferred image decomposes into objects in the same way that the content image does) to obtain an EC plot. We construct EC plots comparing a number of recent style transfer methods. Most methods control within-layer gram matrices, but we also investigate a method that controls cross-layer gram matrices. These EC plots reveal a number of intriguing properties of recent style transfer methods. The style used has a strong effect on the outcome, for all methods. Using large style weights does not necessarily improve effectiveness, and can produce worse results. Cross-layer gram matrices easily beat all other methods, but some styles remain difficult for all methods. Ensemble methods show real promise. It is likely that, for current methods, each style requires a different choice of weights to obtain the best results, so that automated weight setting methods are desirable. Finally, we show evidence comparing our EC evaluations to human evaluations.

研究の動機と目的

• スタイル転送手法に対する標準化された定量的評価プロトコルの欠如に応えること。
• スタイル忠実度（効果性）と構造的保存（整合性）の両方を捉えるメトリクスベースのフレームワークを開発すること。
• 深層特徴統計に基づく、再現可能で新しい評価プロトコルを用いて、最近のスタイル転送手法を比較すること。
• スタイル損失関数の対称性が、転送品質と安定性に与える影響を調査すること。
• Amazon Mechanical Turkを用いたユーザー調査を通じて、提案された評価メトリクスが人間の知覚とどの程度一致するかを検証すること。

提案手法

• 著者らは、2つの主要なメトリクスを定義する：効果性（E）、スタイライズド画像とスタイル画像の特徴分布の乖離を測る。および整合性（C）、BSDS500データセットを用いてコンテンツ画像のオブジェクトセグメントとの整合性を測る。
• 効果性は、複数の畳み込み層におけるスタイライズド画像とスタイル画像の特徴分布の乖離によって計算される。
• 整合性は、コンテンツ画像とスタイライズド画像間のセグメントレベルの乖離によって測定され、新しいセグメント乖離メトリクスが提案されている。
• ECプロットは、複数のコンテンツ・スタイルペアにおいてEとCをプロットすることで生成され、手法間の視覚的・定量的比較を可能にする。
• 本稿では、Gatysの手法とクロスレイヤーのスタイル損失の対称性群を分析し、特徴のスケーリングと平均シフトを許容する大きな対称性群が、不安定性を引き起こす要因であると関連づけている。
• ユーザー調査はAmazon Mechanical Turkを介して実施され、マスターおよび一般のワーカーを用いてECスコアと人間の好みの相関を検証した。

実験結果

リサーチクエスチョン

• RQ1 多様なコンテンツ・スタイルペアにおいて、異なるスタイル転送手法は、スタイル忠実度と構造的整合性の観点でどのように比較できるか？
• RQ2 グラム行列の選択（レイヤ内対比してクロスレイヤー）が、スタイル転送の定量的パフォーマンスにどの程度影響を及えるか？
• RQ3 スタイル損失関数の対称性特性が、スタイライズド出力の安定性と品質にどのように影響を及えるか？
• RQ4 ECプロットメトリクスは、スタイル転送結果における人間の好みを予測できるか？
• RQ5 攻撃的なスタイル重み設定は一貫してパフォーマンスを向上させるのか、それとも不安定性により結果を劣化させるのか？

主な発見

• クロスレイヤーのグラム行列制御は、Gatysのレイヤ内手法に比べ、特に高いスタイル重み設定下で、効果性と整合性の両面で顕著に優れている。
• ECプロットは、Gatysの手法が、特徴のスケーリングと平均シフトを許容する大きな対称性群により、不安定性を示しており、その結果、スタイル忠実度（Eが低くなる）と整合性（Cが低くなる）が低下していることを明らかにしている。
• Gatysの手法では、攻撃的なスタイル重み設定が効果性と整合性を低下させるが、その影響はクロスレイヤー手法では、制限された対称性群のおかげで見られない。
• 人間の好みの調査では、マスター・ワーカーの選択が、高いEとC値によって強く予測可能であり、特に高いスコアを達成したクロスレイヤー手法が好まれていることが示された。
• 一般ワーカーの好みも、高いC値およびACG（クロスレイヤー）手法の高いE値によって予測可能であり、EとCを用いたロジスティック回帰モデルの交差検証AUCは約0.85であった。
• 本研究は、クロスレイヤー手法の優れたパフォーマンスが、Gatysの手法とは異なる対称性群構造に起因することを、実験的証拠で示している。