[論文レビュー] Texture segmentation with Fully Convolutional Networks

Vincent Andrearczyk, Paul F. Whelan|arXiv (Cornell University)|Mar 15, 2017

Smart Agriculture and AI参考文献 17被引用数 8

ひとこと要約

本論文は、局所的で高周波数のテクスチャ特徴と、より抽象的でグローバルな表現を組み合わせることで、最小限または完全にラベルなしの学習データでも高精度なセマンティックセグメンテーションを実現する、テクスチャセグメンテーションに最適化された完全畳み込みネットワーク（FCN）アーキテクチャを提案する。本手法は、繰り返し発生するテクスチャパターンを活用することで、小規模なデータセットや、場合によってはテスト画像自体の一部を微調整に用いることで、パリステクスチャセグメンテーションベンチマークで最先端の性能を達成し、特に教師ありおよび少サンプル設定で顕著な結果を示す。

ABSTRACT

In the last decade, deep learning has contributed to advances in a wide range computer vision tasks including texture analysis. This paper explores a new approach for texture segmentation using deep convolutional neural networks, sharing important ideas with classic filter bank based texture segmentation methods. Several methods are developed to train Fully Convolutional Networks to segment textures in various applications. We show in particular that these networks can learn to recognize and segment a type of texture, e.g. wood and grass from texture recognition datasets (no training segmentation). We demonstrate that Fully Convolutional Networks can learn from repetitive patterns to segment a particular texture from a single image or even a part of an image. We take advantage of these findings to develop a method that is evaluated on a series of supervised and unsupervised experiments and improve the state of the art on the Prague texture segmentation datasets.

研究の動機と目的

• 形状に基づく特徴を排除し、テクスチャ固有の表現に焦点を当てた、テクスチャセグメンテーションに特化した完全畳み込みネットワークアーキテクチャの開発。
• 標準的なテクスチャ認識データセットからのセグメンテーション済みでない画像のみを用いて、クラス内変動が著しいテクスチャのセマンティックセグメンテーションを可能にすること。
• 1クラスあたり1枚の画像、あるいはテスト画像そのものからの領域を用いて、効果的に微調整可能なFCNを実現し、教師なしテクスチャセグメンテーションを実現すること。
• 特に教師なしおよび少サンプル学習の状況において、パリステクスチャセグメンテーションベンチマークの最先端技術を向上させること。

提案手法

• 提案されたFCNは、浅い層（局所的で高周波数のテクスチャパターン）と深い層（より抽象的でグローバルなテクスチャ表現）からの特徴マップを統合する。
• 空間分解能を保持するための transposed convolution と skip connection を用いた、エンドツーエンドの学習を、テクスチャセグメンテーションタスクに特化して行う。
• 少サンプルおよび教師なし学習の設定では、1クラスあたり1枚の画像、または事前にセグメンテーションされたテスト画像領域（偽ラベル）を用いてネットワークを微調整する。
• 事前セグメンテーションは、k-means や FSEG、MK などの古典的手法を用いて初期ラベルを生成し、その後 FCN で精緻化する。
• 形状に基づく誘導的バイアスを抑えるようにアーキテクチャを最適化し、テクスチャパターン認識とセグメンテーションにのみ焦点を当てる。
• テクスチャの繰り返し性を活用することで、非セグメンテーションデータセットからの有効な転移学習を可能にし、最小限の監視のもとで一般化を実現する。

実験結果

リサーチクエスチョン

• RQ1 完全にアノテートされた訓練データを必要とせず、テクスチャの繰り返し性に依存することで、完全畳み込みネットワークがテクスチャをセグメンテーションできるか。
• RQ2 KTH-TIPS-2B や Kylberg などのデータセットから得たセグメンテーション済みでないテクスチャ画像で学習したFCNは、セマンティックテクスチャセグメンテーションタスクにどの程度一般化できるか。
• RQ3 1クラスあたり1枚の画像が、微調整されたFCNによる効果的なテクスチャセグメンテーションのための十分な監視情報であると見なせるか。
• RQ4 テスト画像そのものからの領域を、事前セグメンテーション後に教師データとして用いることで、教師なしテクスチャセグメンテーションが有効に実現できるか。
• RQ5 提案されたFCNは、教師ありおよび教師なし設定の両方において、パリステクスチャセグメンテーションベンチマークで最先端の手法と比較してどの程度優れているか。

主な発見

• 提案されたFCNは、パリスの教師なしデータセットで領域ベースのDiceスコア（CS）が79.34％を達成し、先行する最先端手法を顕著に上回った。
• 教師ありパリスデータセットでは、ピクセル単位の正答率（CA）が84.17％、F1スコア（CI）が89.91％を記録し、すべての先行手法を上回った。
• 18の評価指標のうち12個で最高スコア、残りの4つで2番目のスコアを達成し、多様なセグメンテーション基準において一貫した優位性を示した。
• 1クラスあたり1枚の画像を用いた微調整により、ネットワークは効果的に一般化でき、テクスチャセグメンテーションにおける強力な少サンプル学習能力を示した。
• 事前セグメンテーション後にテスト画像の一部を訓練データとして用いることで、強力な結果が得られ、最小限の監視のもとでの教師なしテクスチャセグメンテーションの実現可能性を裏付けた。
• MKを用いた事前セグメンテーションラベルを用いたFCNは、すべての指標で最高のパフォーマンスを示し、CCスコア94.15％、CIスコア89.91％を達成した。