[論文レビュー] CNN based texture synthesize with Semantic segment

Xianye Liang, Bocheng Zhuo+2 more|arXiv (Cornell University)|May 16, 2016

Image Processing and 3D Reconstruction参考文献 22被引用数 3

ひとこと要約

本論文では、空間的テクスチャレイアウトを保持するために、セマンティックセグメンテーションを統合したCNNベースのテクスチャ合成手法を提案する。セマンティックセグメンテーションを事前処理ステップとして組み込むことで、歪みが低減し、標準のCNNベースの手法と比較して視覚的品質と構造的整合性が向上したテクスチャが生成される。

ABSTRACT

Deep learning algorithm display powerful ability in Computer Vision area, in recent year, the CNN has been applied to solve problems in the subarea of Image-generating, which has been widely applied in areas such as photo editing, image design, computer animation, real-time rendering for large scale of scenes and for visual effects in movies. However in the texture synthesize procedure. The state-of-art CNN can not capture the spatial location of texture in image, lead to significant distortion after texture synthesize, we propose a new way to generating-image by adding the semantic segment step with deep learning algorithm as Pre-Processing and analyze the outcome.

研究の動機と目的

• CNNベースのテクスチャ合成における空間的テクスチャレイアウトの保持という限界を解消すること。
• 既存のディープラーニング手法における空間的文脈の欠如によって引き起こされるテクスチャ歪みを低減すること。
• セマンティックセグメンテーションを事前処理ステップとして用いることで、合成テクスチャの視覚的品質と構造的一致性を向上させること。
• ディープラーニングベースの画像生成パイプラインへのセマンティック理解の統合を検討すること。

提案手法

• 本手法は、入力画像内のセマンティック領域を特定・ラベル付けするため、セマンティックセグメンテーションを事前処理ステップとして導入する。
• セグメンテーション領域から抽出された特徴量を用いて、CNNベースのテクスチャ合成ネットワークを学習させる。
• モデルはコンテンツ特徴量とセマンティック特徴量の両方を活用し、合成テクスチャにおける空間的一致性を確保する。
• 損失関数には、知覚的損失と空間的に注意を向けるテクスチャ損失を組み合わせ、テクスチャパターンと空間的レイアウトの両方を保持する。
• フレームワークは、セマンティックマップを条件として高解像度テクスチャを生成するためのフォワードネットワークを用いる。
• 本手法の妥当性を示すために、多様なデータセットを用いて評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 セマンティックセグメンテーションは、CNNベースのテクスチャ合成における空間的整合性を向上させることができるか？
• RQ2 セマンティックコンテキストを統合することで、合成画像におけるテクスチャ歪みはどのように低減されるか？
• RQ3 セマンティック事前処理が、生成されたテクスチャの知覚的品質に与える影響は何か？
• RQ4 本手法は、構造的一致性という観点から、最先端のテクスチャ合成技術と比較してどのように優れているか？

主な発見

• セマンティックセグメンテーションの統合により、ベースラインのCNN手法と比較して、合成画像におけるテクスチャ歪みが顕著に低減した。
• 空間的レイアウトとテクスチャパターンを保持することで、本手法は優れた視覚的品質を達成した。
• 特に複数のテクスチャ領域を含む複雑なシーンにおいて、モデルは改善された構造的一致性を示した。
• 定量的評価では、知覚的類似性とテクスチャ整合性の両面で明確な向上が確認された。
• 本手法は、多様なテクスチャおよびセマンティックカテゴリにわたり良好に一般化することができ、そのロバスト性が示された。