[論文レビュー] One-shot Texture Segmentation

Ivan Ustyuzhaninov, Claudio Michaelis+2 more|arXiv (Cornell University)|Jul 7, 2018

Generative Adversarial Networks and Image Synthesis参考文献 36被引用数 11

ひとこと要約

本論文は、1つの参照パッチのみを用いて画像内のテクスチャをセグメンテーションする、自己教師ありベンチマークタスクであるワンショットテクスチャセグメンテーションを導入する。この手法は、自然なテクスチャから得られる合成データを活用して、微調整なしに実画像や動画に一般化する深層学習モデルを訓練する。その結果、自然画像セグメンテーションおよびオブジェクト分類タスクにおいて強力なゼロショット性能を達成する。

ABSTRACT

We introduce one-shot texture segmentation: the task of segmenting an input image containing multiple textures given a patch of a reference texture. This task is designed to turn the problem of texture-based perceptual grouping into an objective benchmark. We show that it is straight-forward to generate large synthetic data sets for this task from a relatively small number of natural textures. In particular, this task can be cast as a self-supervised problem thereby alleviating the need for massive amounts of manually annotated data necessary for traditional segmentation tasks. In this paper we introduce and study two concrete data sets: a dense collage of textures (CollTex) and a cluttered texturized Omniglot data set. We show that a baseline model trained on these synthesized data is able to generalize to natural images and videos without further fine-tuning, suggesting that the learned image representations are useful for higher-level vision tasks.

研究の動機と目的

• テクスチャに基づく知覚的グルーピングを自己教師あり学習ベンチマークとして形式化すること。
• 手動アノテーションなしで、スケーラブルでデータ効率の良いテクスチャセグメンテーションモデルの訓練手法を開発すること。
• 合成テクスチャデータで学習した表現が、現実世界の自然画像や動画に一般化するかどうかを評価すること。
• 高次局所画像統計が、頑健なテクスチャ表現学習に果たす役割を調査すること。
• テクスチャ表現を、動画オブジェクトセグメンテーションや画像分類などの下流タスクにゼロショット転移できることを実証すること。

提案手法

• タスクは、複雑な画像内に存在するテクスチャを、そのテクスチャの単一の参照パッチのみを用いてセグメンテーションすることとして定義される。
• 2つの合成データセットを生成する：CollTex（自然なテクスチャの密集コラージュ）とテクスチャ化されたOmniglot（テクスチャを重ねたごみだらけの文字）。
• エンコーダ・デコーダ構造とスキップ接続を備えた深層ニューラルネットワークを、これらの合成データセット上で自己教師ありの方法で訓練する。
• テクスチャ統計のパrametricモデリングを可能にするために、事前学習済みのVGGネットワークからの深層特徴を用いてテクスチャ表現を抽出する。
• 入力画像と参照パッチ間の局所画像統計を、学習された類似度メトリックを用いて比較することでセグメンテーションを実行する。
• 複数の参照パッチを用いて実画像にモデルを適用し、論理マスクによる予測の統合によって、自然画像への一般化を達成する。

実験結果

リサーチクエスチョン

• RQ1 合成テクスチャデータ上で自己教師あり学習を実施することで、現実世界のビジョンタスクに一般化可能な中レベルの表現が得られるか？
• RQ2 高次局所画像統計は、ワンショットセグメンテーションにおける頑健なテクスチャ識別にどのように寄与するか？
• RQ3 テクスチャの合成コラージュで学習したモデルが、微調整なしに自然画像および動画セグメンテーションにどの程度一般化できるか？
• RQ4 自己教師ありで学習したテクスチャベースの表現を、自然画像におけるゼロショットオブジェクト分類に応用できるか？
• RQ5 予測力の観点から見たときに、最も情報量の多いテクスチャパッチと最も情報量の少ないパッチは、視覚的および定量的にどのように異なるか？

主な発見

• 本モデルは、合成データのCollTexのみを用いてトレーニングし、微調整なしにDAVIS 2016ベンチマークの動画オブジェクトセグメンテーションで84.8%のIoUを達成した。
• テクスチャのみの手がかりを用いたImageNetレオパード分類タスクにおいて、本モデルは85%の精度に達し、ピクセルベースの線形モデル（約70%）を上回った。
• 最も情報量の多いテクスチャパッチは視覚的に類似しており、最も情報量の少ないパッチは顕著な色の変動を示しており、視覚的整合性が予測力と相関していることが示唆された。
• 本モデルは自然画像および動画に効果的に一般化しており、自己教師ありテクスチャ学習が有用な中レベルの表現を生成することを示した。
• 高次局所画像統計のモデリングが必須であることが示され、単純な低次元特徴では頑健なセグメンテーションが達成できないことがわかった。
• 複数のテクスチャパッチからの予測を統合することで、自然動画におけるセグメンテーション精度が向上し、本手法の部分的または曖昧な手がかりに対しても頑健であることが確認された。