[論文レビュー] Visualizing and Understanding Deep Texture Representations

Tsung‐Yu Lin, Subhransu Maji|arXiv (Cornell University)|Nov 16, 2015

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 17

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）を用いた双線形モデルを提案し、翻訳不変性を備えた強力なテクスチャ記述子として、テクスチャ認識およびシーン認識ベンチマークで既存手法を上回ることを示している。モデルを逆方向に処理して前像を可視化することで、深層特徴がどのようにカテゴリカルなテクスチャ特性を符号化しているかを明らかにし、高精細な再現性で「ねじれの」や「編み物の」ような属性に基づく画像操作が可能になる。

ABSTRACT

A number of recent approaches have used deep convolutional neural networks (CNNs) to build texture representations. Nevertheless, it is still unclear how these models represent texture and invariances to categorical variations. This work conducts a systematic evaluation of recent CNN-based texture descriptors for recognition and attempts to understand the nature of invariances captured by these representations. First we show that the recently proposed bilinear CNN model [25] is an excellent general-purpose texture descriptor and compares favorably to other CNN-based descriptors on various texture and scene recognition benchmarks. The model is translationally invariant and obtains better accuracy on the ImageNet dataset without requiring spatial jittering of data compared to corresponding models trained with spatial jittering. Based on recent work [13, 28] we propose a technique to visualize pre-images, providing a means for understanding categorical properties that are captured by these representations. Finally, we show preliminary results on how a unified parametric model of texture analysis and synthesis can be used for attribute-based image manipulation, e.g. to make an image more swirly, honeycombed, or knitted. The source code and additional visualizations are available at http://vis-www.cs.umass.edu/texture

研究の動機と目的

• 認識タスクにおけるCNNベースのテクスチャ記述子を体系的に評価し、不変性および表現能力に焦点を当てる。
• 深層テクスチャ表現における並進不変性の役割を調査し、空間ジャイタリングによるデータ拡張と比較する。
• 双線形CNNモデルを逆方向に処理して、テクスチャカテゴリの前像を可視化する手法を開発する。
• 統一されたパラメトリックモデルを用いたテクスチャ合成と属性ベースの画像操作の可能性を検討する。
• 双線形CNNが空間ジャイタリングなしで標準CNNを上回る高い精度を達成できることを示し、不変性の利点を強調する。

提案手法

• 同一のCNN（例：VGG-M）から得た特徴マップの外積を計算し、平均プーリングを適用することで順序不変で相関に基づく特徴を生成することで、双線形CNNモデルを構築する。
• ImageNetで事前学習した重みで初期化した後、ドメイン固有の微調整を実施することで、テクスチャおよびシーン認識タスクで優れた性能を達成する。
• 勾配降下法を用いて双線形CNNモデルを逆方向に処理し、特定のカテゴリーラベルの尤度を最大化する画像（前像）を生成する多層最適化プロセスを実装する。
• コンテンツ再構成とテクスチャ再構成を統合し、学習された属性分類器を組み合わせたパラメトリックなテクスチャ合成フレームワークを用い、特定のテクスチャ属性を持つ画像を操作する。
• 収束を加速させるとともに、逆方向処理における構造的アーチファクトを低減するため、画像キルティングに基づく初期化スキームを適用する。
• 複数のテクスチャカテゴリを、ターゲットカテゴリ特徴の重み付き合成によってブレンドし、画像ブレンド実験で示されるようにハイブリッドテクスチャを生成する。

実験結果

リサーチクエスチョン

• RQ1 双線形CNNベースのテクスチャ表現は、テクスチャおよびシーンデータセットにおいて、他のCNNベースの記述子と比較して認識精度でどのように差をつけるか？
• RQ2 双線形特徴における並進不変性は、トレーニング時に空間ジャイタリングに依存するモデルと比較して、性能向上にどの程度寄与するか？
• RQ3 双線形CNNの深層特徴に符号化されたカテゴリカルなテクスチャ特性は何か、そしてそれらはどのように可視化できるか？
• RQ4 双線形CNNモデルを用いて、「蜂巣状の」や「ねじれの」のような高レベルのテクスチャ属性に基づいて画像を合成または操作できるか？
• RQ5 異なるネットワーク層は、前像再構成およびテクスチャ合成の品質にどのように寄与するか？

主な発見

• 双線形CNNモデルは、FMD、DTD、KTH-T2b、およびMIT Indoorシーンデータセットで最先端の性能を達成し、FisherベクトルCNNベースラインを上回っている。
• 空間ジャイタリングなしで学習を開始した双線形CNNは、ジャイタリングを用いた標準CNNよりもImageNetで高い精度を達成しており、組み込みの並進不変性の有効性を示している。
• 前像可視化により、モデルが洗練され、鋭くカテゴリに特化したテクスチャ特性（例：「ドット」には多スケールのドット、「書店」には構造的なレイアウト）を捉えていることが明らかになった。これらの特性は単純な平均化では得られない。
• 低層では色および微細なテクスチャを保持するが、深層に進むと色が失われても構造的意味が保持され、層を組み合わせることで再構成品質が向上する。
• 逆方向処理により、顔画像が「インターライシング」や「編み物風」に変更されつつもコンテンツ構造を保持する高精細な画像が得られる。
• 複数カテゴリ（例：「蜂巣状」と「ねじれの」）の特徴を重み付きでブレンドすることでハイブリッドテクスチャを合成でき、遷移的なテクスチャが現実的であることが確認され、モデルがパrametricにテクスチャ属性を操作できることを裏付けた。