[論文レビュー] Photo Stylistic Brush: Robust Style Transfer via Superpixel-Based Bipartite Graph

Jiaying Liu, Wenhan Yang+2 more|arXiv (Cornell University)|Jun 13, 2016

Generative Adversarial Networks and Image Synthesis参考文献 8被引用数 3

ひとこと要約

本稿では、色、トーン、コントラストといった複雑な視覚的スタイルを画像間で転送するための、二段階のスーパーピクセルベースの二部グラフ手法を用いた頑健な例示ベースの写真スタイル化手法SuperBIGを提案する。階層的特徴とグローバルなスーパーピクセルレベルのマッチングを活用することで、優れた視覚的品質と一貫性を達成し、特に夜景のような困難なケースにおいて、最先端の手法を上回る定性的および定量的評価結果を示した。

ABSTRACT

With the rapid development of social network and multimedia technology, customized image and video stylization has been widely used for various social-media applications. In this paper, we explore the problem of exemplar-based photo style transfer, which provides a flexible and convenient way to invoke fantastic visual impression. Rather than investigating some fixed artistic patterns to represent certain styles as was done in some previous works, our work emphasizes styles related to a series of visual effects in the photograph, e.g. color, tone, and contrast. We propose a photo stylistic brush, an automatic robust style transfer approach based on Superpixel-based BIpartite Graph (SuperBIG). A two-step bipartite graph algorithm with different granularity levels is employed to aggregate pixels into superpixels and find their correspondences. In the first step, with the extracted hierarchical features, a bipartite graph is constructed to describe the content similarity for pixel partition to produce superpixels. In the second step, superpixels in the input/reference image are rematched to form a new superpixel-based bipartite graph, and superpixel-level correspondences are generated by a bipartite matching. Finally, the refined correspondence guides SuperBIG to perform the transformation in a decorrelated color space. Extensive experimental results demonstrate the effectiveness and robustness of the proposed method for transferring various styles of exemplar images, even for some challenging cases, such as night images.

研究の動機と目的

• 既存のスタイル転送手法が色やテクスチャといった孤立した要素に焦点を当てており、写真における包括的な視覚的効果を保持できないという限界を是正すること。
• 専門家でないユーザーが、参照画像から入力画像へと豊富で多面的な写真スタイルを柔軟かつ自動的に転送できるツールを開発すること。
• コンテンツとスタイルの分離性仮定を克服し、色、コントラスト、照明を含む包括的かつコンテンツに依存する視覚的効果としてスタイルをモデル化すること。
• とくに低照度や高コントラストの写真のような困難な入力において、スタイル転送の頑健性と視覚的品質を向上させること。

提案手法

• 色、距離、テクスチャ、パッチ強度、勾配といった階層的特徴と密な対応関係を用いて、入力画像と参照画像をスーパーピクセルに分割するピクセルレベルの二部グラフを構築する。
• 二段階の二部グラフアルゴリズムを適用する：第一段階では階層的特徴を用いてコンテンツ類似度に基づき初期スーパーピクセルを形成し、第二段階ではスーパーピクセルレベルの二部マッチングによりグローバルな対応関係を確立する。
• グローバルにスーパーピクセルを再マッチングすることで対応関係を精緻化し、画像全体で一貫性を確保し、局所的なアーティファクトを低減する。
• 精緻化されたスーパーピクセルレベルの対応関係に従って、相関のない色彩空間でスタイル変換を実行することで、色と輝度の効果を分離する。
• ディープマッチングからの信頼度スコアを活用し、曖昧な領域における信頼性の高い対応関係を優先することで、頑健性を向上させる。
• 色、距離、テクスチャ、パッチ強度、勾配といった複数の基本的特徴を階層的特徴構成に統合し、局所的整合性とグローバル整合性のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 ピクセルレベルやパッチベースの手法と比較して、スーパーピクセルベースの二部グラフアプローチは、例示ベースの写真スタイル転送における頑健性と視覚的品質を向上させることができるか？
• RQ2 二段階の二部グラフフレームワークは、色、トーン、コントラストを含む包括的な写真スタイルを、多様な画像条件下でも効果的に保持できるか？
• RQ3 階層的特徴（色、テクスチャ、勾配など）は、正確なスーパーピクセル形成と対応関係マッチングにどの程度寄与するか？
• RQ4 本手法は、夜景や複雑な照明を有する画像のような困難な写真入力に対しても一般化可能か？

主な発見

• ユーザー評価においてSuperBIGは平均順位スコアが1.15と最低となり、6つの競合手法を著しく上回る知覚的品質とスタイルの一貫性を達成した。
• アブレーションスタディの結果、勾配とパッチ強度を含む複数の階層的特徴を組み合わせることで、視覚的品質が著しく向上し、誤った転送が減少した。
• スーパーピクセルレベルの二部マッチング手順により、ピクセルレベルの対応関係結果に見られた、テクスチャのついた空や誤った色領域といった局所的な不整合やアーティファクトが低減された。
• 他の手法がスタイルの一貫性を保持できなかったり、不自然な結果を出力するなど失敗するような困難な夜間画像においても、本手法は強い頑健性を示した。
• 階層的特徴とグローバル最適化の活用により、定量的指標とユーザー好ましさ調査の両面で、より正確で視覚的に妥当なスタイル転送が実現された。