[論文レビュー] SemiContour: A Semi-supervised Learning Approach for Contour Detection

Zizhao Zhang, Fuyong Xing+2 more|arXiv (Cornell University)|May 17, 2016

Industrial Vision Systems and Defect Detection参考文献 30被引用数 13

ひとこと要約

本稿では、スパース表現を用いて未ラベル付き画像パッチを判別性の高い低次元部分空間に埋め込むことで、限定的なラベル付き画像（3枚のみ）でも構造的ランダムフォレスト（SRF）における有効なノード分割を可能にする、半教師付き構造的アンサンブル学習手法SemiContourを提案する。本手法はBSDS500およびNYU Depthデータセットで最先端の性能を達成し、数百枚のラベル付き画像で学習した完全教師あり手法を上回る。

ABSTRACT

Supervised contour detection methods usually require many labeled training images to obtain satisfactory performance. However, a large set of annotated data might be unavailable or extremely labor intensive. In this paper, we investigate the usage of semi-supervised learning (SSL) to obtain competitive detection accuracy with very limited training data (three labeled images). Specifically, we propose a semi-supervised structured ensemble learning approach for contour detection built on structured random forests (SRF). To allow SRF to be applicable to unlabeled data, we present an effective sparse representation approach to capture inherent structure in image patches by finding a compact and discriminative low-dimensional subspace representation in an unsupervised manner, enabling the incorporation of abundant unlabeled patches with their estimated structured labels to help SRF perform better node splitting. We re-examine the role of sparsity and propose a novel and fast sparse coding algorithm to boost the overall learning efficiency. To the best of our knowledge, this is the first attempt to apply SSL for contour detection. Extensive experiments on the BSDS500 segmentation dataset and the NYU Depth dataset demonstrate the superiority of the proposed method.

研究の動機と目的

• ラベル付きデータの限界に起因する教師あり輪郭検出の課題に対処する。すなわち、大規模なアノテート済みデータセットを収集することは費用がかかり、時間がかかる。
• 輪郭検出という分野において、これまでこの文脈で未解決であった半教師付き学習（SSL）の実現可能性と有効性を検証する。
• 教師なしスパース表現を用いて未ラベル付き画像パッチを統合することで、構造的ランダムフォレスト（SRF）におけるノード分割を改善する。
• 大規模データセットにスケーリング可能でありながら高い精度を維持できる、高速で効率的なスパースコーディングアルゴリズムを開発する。
• 異なるドメインからの未ラベル付きデータ（例：NYU DepthとBSDS500データの組み合わせ）を活用することで、強い汎化能力を示すことを実証する。

提案手法

• 構造的ランダムフォレスト（SRF）に基づく半教師付き構造的アンサンブル学習フレームワークを提案する。このフレームワークでは、ラベル付きパッチ（l-tokens）が僅かである状況においても、未ラベル付きパッチ（u-tokens）を用いてノード分割を改善する。
• 画像パッチのコンactかつ判別性の高い低次元部分空間への埋め込みを学習するための教師なしスパース表現技術を導入する。これにより、SRF学習における未ラベル付きデータの利用が可能になる。
• 時間計算量がO(d·V)が支配的となる、新規の高速スパースコーディングアルゴリズムを適用する。ここでdは特徴次元、Vは辞書サイズを表す。
• SRFのマックスマージン特性を活用し、木のノード内でのu-tokensの構造的ラベルを動的に推定することで、意思決定境界の学習を強化する。
• 推定されたu-tokensの構造的ラベルを用いて、SRFの内部ノードの分割をガイドすることで、限られたラベル付きデータにおける汎化性能の向上と過学習の低減を実現する。
• スパース表現とラベル推定プロセスをSRF学習パイプラインに直接統合し、最小限の監督のもとでエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータが乏しい輪郭検出に、半教師付き学習を効果的に適用できるか？
• RQ2 未ラベル付き画像パッチを構造的ランダムフォレストに意味的に統合することで、ノード分割と検出精度を向上させられるか？
• RQ3 教師なしスパース表現による判別性の高い低次元部分空間の学習が、最小限のラベル付きデータで輪郭検出性能を向上させられるか？
• RQ4 大規模データセットにスケーリング可能でありながら精度を損なわない高速スパースコーディングアルゴリズムを設計できるか？
• RQ5 訓練時に異なるデータセット（例：NYU Depth）からの未ラベル付きデータを用いる場合、本手法はドメインを跨いで良好に汎化できるか？

主な発見

• わずか3枚のラベル付き画像での学習でも、数百枚の画像で学習した完全教師あり手法と同等またはそれ以上の検出性能を達成する。
• BSDS500データセットにおいて、10枚のラベル付き画像で学習したSemiContourは、10枚のラベル付き画像で学習した教師ありSRF（SE-Var）を上回り、全381枚の画像で学習した完全教師ありモデルと同等の性能を示す。
• NYU Depthデータセットにおいて、SemiContourは10枚のラベル付き画像でODS = 0.68、OIS = 0.70、AP = 0.69を達成し、同じデータで学習した教師ありベースラインを上回る。
• データセット跨ぎの汎化性において、BSDS500の未ラベル付きデータを用いてNYUDで学習したSemiContourはODS = 0.73、OIS = 0.75を達成し、両設定でSE-Varを上回る。
• 提案された高速スパースコーディングアルゴリズムは、OMP、Batch-OMP、Batch-OMP-fastよりも顕著に高速であり、特にテストサンプル数が増加する際の性能向上が顕著である。一方で、同等の検出精度を維持している。
• 本手法は、異なるドメインからの未ラベル付きパッチ（例：屋内NYUのシーンを屋外のBSDS500学習に統合）を統合しても、強力なロバストネスとノイズ耐性を示す。