[論文レビュー] A Survey of Semantic Segmentation

Martin Thoma|arXiv (Cornell University)|Feb 21, 2016

Advanced Image and Video Retrieval Techniques参考文献 84被引用数 66

ひとこと要約

本サーベイは、分類タイプ、入力データ、操作モード、クラス所属の観点から分類される意味的セグメンテーション技術について包括的な概要を提供する。決定木フォレストやSVMといった従来手法をレビューし、CNNを用いた現代の深層学習アプローチを評価し、レンズフレア、ヴィニケット、隠蔽といった一般的な失敗事例を特定し、コンピュータビジョンおよび医療画像分野の研究者にとっての基盤的リファレンスを提供する。

ABSTRACT

This survey gives an overview over different techniques used for pixel-level semantic segmentation. Metrics and datasets for the evaluation of segmentation algorithms and traditional approaches for segmentation such as unsupervised methods, Decision Forests and SVMs are described and pointers to the relevant papers are given. Recently published approaches with convolutional neural networks are mentioned and typical problematic situations for segmentation algorithms are examined. A taxonomy of segmentation algorithms is given.

研究の動機と目的

• 分類、入力データ、動作状態、クラス所属に基づいて意味的セグメンテーションアルゴリズムの構造的分類法を提供すること。
• 教師なし手法、決定木フォレスト、SVMを含む従来の意味的セグメンテーション技術をレビューおよび比較すること。
• 畳み込みニューラルネットワーク（CNN）を用いた深層学習ベースの意味的セグメンテーションの最近の進展を要約すること。
• レンズフレア、ヴィニケット、ぼやけ、隠蔽といった一般的なセグメンテーションシステムの失敗事例を特定・分析すること。
• データセットバイアス、モデルのロバスト性、アンサンブル手法といった未解決の課題を強調することで、今後の研究を導くこと。

提案手法

• 分類可能なクラス（固定 vs. 動的）、クラス所属（単一 vs. 多重）、入力データ（グレースケール、カラー、深度、ステレオ、2D/3D）、動作状態（アクティブ vs. パassive）の4次元に沿ってセグメンテーションアルゴリズムを分類する。
• 正確度、交差率（IoU）、ピクセル単位分類性能といった評価指標をレビューする。
• 教師なしクラスタリング、SVM、決定木フォレストを含む従来のアプローチを要約し、初期の意味的セグメンテーションにおけるそれらの役割を強調する。
• AlexNetを特徴抽出器として用いること、完全畳み込みネットワーク（FCN）、[DHS15]におけるようなより深いアーキテクチャを含む現代のCNNベースの手法を分析する。
• 予測を統合することでセグメンテーション精度を向上させるために、CRFとアンサンブル手法の応用を検討する。
• KITTI、MSRCv2などの公開データセットからの実世界の画像例を用い、レンズフレア、ヴィニケット、透過性といった問題のある事例を提示する。

実験結果

リサーチクエスチョン

• RQ1 意味的セグメンテーションアルゴリズムは、その設計および動作特性に基づいて、どのように体系的に分類可能か？
• RQ2 SVM や 決定木フォレストといった従来の機械学習手法は、意味的セグメンテーションにおいて、どのような強みと限界を有するか？
• RQ3 現代の深層学習ベースのCNNは、古典的手法と比較して、意味的セグメンテーションのパフォーマンスをどのように向上させるか？
• RQ4 セグメンテーションアルゴリズムを困難にさせる代表的な実世界の画像アーティファクトは何か？ それらはパフォーマンスにどのように影響を与えるか？
• RQ5 部分的隠蔽、 camouflage、視点変化といった失敗事例は、トレーニングデータに視点やオブジェクト配置の多様性が欠如している場合、どれほど訓練済みモデルのロバスト性に影響を与えるか？

主な発見

• 意味的セグメンテーションは、固定クラス・単一所属モデルから、未知オブジェクト用のボイドクラスを含む多クラス・多所属、オープンボキャブラリーへの進化を遂げた。
• 解釈可能性や限られたアノテーションが優先される状況では、決定木フォレストやSVMといった従来手法が依然として関連性を有する。
• 特に完全畳み込みネットワークやより深いアーキテクチャを用いた深層学習ベースのCNNは、標準ベンチマークにおいて従来手法を著しく上回るパフォーマンスを示す。
• レンズフレア、ヴィニケット、ぼやけ、半透明オブジェクトのような失敗事例は一般的であり、標準データセット上で良好なパフォーマンスを示すモデルでさえも誤分類を引き起こすことがある。
• 視点の変化や部分的隠蔽は、トレーニングデータに視点やオブジェクト配置の多様性が欠如している場合、特に深刻な問題を引き起こす。
• アンサンブル手法やCRFの後処理は、局所的な不一致やエッジアーティファクトの処理において特に有効であり、セグメンテーション精度の向上に寄与する。