[論文レビュー] How to Make an Image More Memorable? A Deep Style Transfer Approach

Aliaksandr Siarohin, Gloria Zen+4 more|arXiv (Cornell University)|Apr 6, 2017

Visual Attention and Saliency Detection参考文献 6被引用数 7

ひとこと要約

本論文では、3つのネットワークアーキテクチャ（スコアラー、合成器、学習可能セレクタ）を用いて、入力画像の記憶可能性を向上させるために最適なスタイルフィルタ（「スタイルシード」）を自動で選択する深層学習フレームワークを提案する。この手法は、最も効果的なスタイル変換を取得することで、ベースライン画像と比較して平均25%の記憶可能性スコアの向上を達成し、画像編集における手動の試行錯誤を顕著に削減する。

ABSTRACT

Recent works have shown that it is possible to automatically predict intrinsic image properties like memorability. In this paper, we take a step forward addressing the question: "Can we make an image more memorable?". Methods for automatically increasing image memorability would have an impact in many application fields like education, gaming or advertising. Our work is inspired by the popular editing-by-applying-filters paradigm adopted in photo editing applications, like Instagram and Prisma. In this context, the problem of increasing image memorability maps to that of retrieving "memorabilizing" filters or style "seeds". Still, users generally have to go through most of the available filters before finding the desired solution, thus turning the editing process into a resource and time consuming task. In this work, we show that it is possible to automatically retrieve the best style seeds for a given image, thus remarkably reducing the number of human attempts needed to find a good match. Our approach leverages from recent advances in the field of image synthesis and adopts a deep architecture for generating a memorable picture from a given input image and a style seed. Importantly, to automatically select the best style a novel learning-based solution, also relying on deep models, is proposed. Our experimental evaluation, conducted on publicly available benchmarks, demonstrates the effectiveness of the proposed approach for generating memorable images through automatic style seed selection

研究の動機と目的

• 入力画像の記憶可能性を自動的に向上させるとともに、高レベルのコンテンツを保持するという未解決の問題に取り組む。
• 画像強化のための手動フィルタ選択に要する時間と労力を削減し、最適なスタイルシードの自動取得を実現する。
• 記憶可能性への影響の予測に基づいて、スタイルフィルタをランク付けする学習ベースのシステムを開発する。
• 外部の記憶可能性スコアラーを用いて、公開ベンチマーク上でその有効性を検証する。
• 本フレームワークを美的品質や感情的影響などの他の画像特性へ拡張する可能性を検討する。

提案手法

• フレームワークは、画像とスタイルのペアの記憶可能性スコアを予測する深層ニューラルネットワークベースのスコアラーを用いる。
• 合成器ネットワークは、選択されたシードのスタイルを入力画像にトランスファーすることで、記憶に良い画像を生成する。
• 学習可能セレクタネットワークは、予測された記憶可能性の向上に基づいて候補となるスタイルシードをランク付けし、予測値と実際の記憶可能性向上の差を最小化する損失関数を用いる。
• セレクタは、入力画像、スタイルシード、および記憶可能性ギャップスコア（出力と入力の記憶可能性の差）のペairedデータ上で訓練される。
• システムは、予測された記憶可能性向上が最大となる上位N個のスタイルシードを検索して選択するメカニズムを採用する。
• 実世界のベンチマーク上で性能を検証するために、外部の記憶可能性スコアラー（MemNet）を用いて評価が行われる。

実験結果

リサーチクエスチョン

• RQ1 与えられた画像の記憶可能性を向上させるために、最も効果的なスタイルフィルタを自動で特定できるか？
• RQ2 学習されたセレクタネットワークは、ランダムまたはヒューリスティックなフィルタ選択に比べて、どの程度記憶可能性の向上に優れているか？
• RQ3 候補となるスタイルシードの数が、最終的な記憶可能性の向上に与える影響は何か？
• RQ4 本手法は、多様な画像コンテンツに一般化可能であり、意味的コンテンツを保持できるか？
• RQ5 本フレームワークは、美的品質や感情的正負の値などの他の画像特性へ拡張可能か？

主な発見

• 上位10個のスタイルシードを用いた場合、テストセットにおいてS-cube手法は平均0.25の記憶可能性ギャップスコアの向上を達成し、これはベースライン画像に比べ顕著な改善を示している。
• 上位3つのシードのみを考慮した場合、平均記憶可能性ギャップは最大の0.32に達し、セレクタが最も効果的なスタイルを効果的に抽出していることを示している。
• スタイルシードのプールを10から100に拡大した際、平均記憶可能性ギャップが10%向上した。
• セレクタが予測した記憶可能性スコア（R）と外部スコアラー（E）との間に強い相関（r ≈ 0.80）が確認され、スタイルシードのランク付けにおける信頼性が裏付けられた。
• 制御された比較において、本手法はランダムおよびベースラインのフィルタ選択戦略を常に上回り、平均して20%高い記憶可能性ギャップスコアを達成した。
• 視覚的結果から、合成された画像が意味的コンテンツを保持しつつも、より高い記憶可能性を達成していることが確認され、コンテンツ保持型強化の成功が裏付けられた。