[論文レビュー] A Review on Deep Learning Techniques Applied to Semantic Segmentation

Alberto García-García, Sergio Orts‐Escolano+3 more|arXiv (Cornell University)|Apr 22, 2017

Advanced Neural Network Applications参考文献 96被引用数 1,035

ひとこと要約

この論文は、深層学習手法による意味的セグメンテーションを概観し、データセットと課題を調査し、性能と将来の方向性を論じる。

ABSTRACT

Image semantic segmentation is more and more being of interest for computer vision and machine learning researchers. Many applications on the rise need accurate and efficient segmentation mechanisms: autonomous driving, indoor navigation, and even virtual or augmented reality systems to name a few. This demand coincides with the rise of deep learning approaches in almost every field or application target related to computer vision, including semantic segmentation or scene understanding. This paper provides a review on deep learning methods for semantic segmentation applied to various application areas. Firstly, we describe the terminology of this field as well as mandatory background concepts. Next, the main datasets and challenges are exposed to help researchers decide which are the ones that best suit their needs and their targets. Then, existing methods are reviewed, highlighting their contributions and their significance in the field. Finally, quantitative results are given for the described methods and the datasets in which they were evaluated, following up with a discussion of the results. At last, we point out a set of promising future works and draw our own conclusions about the state of the art of semantic segmentation using deep learning techniques.

研究の動機と目的

• 深層学習技術を用いたセグメンテーションに有用なデータセットの広範な調査を提供する。
• 意味的セグメンテーションの重要な深層学習手法とそれらの貢献について組織的なレビューを提供する。
• パフォーマンス指標（精度、速度、メモリ）を要約し、データセット間で手法を比較する。
• 深層学習による意味的セグメーションの課題を論じ、将来の研究の方向性を提案する。
• 研究者が分野へ参入・発展するための文脈と最新技術動向を確立する。

提案手法

• 意味的セグメーション問題とピクセルごとのラベリング定式化を説明する。
• ビルディングブロックとして用いられる一般的な深層ネットワークアーキテクチャをレビューする（例：AlexNet、VGG、GoogLeNet、ResNet、ReNet）。
• セグメンテーションネットワークにおける転移学習とファインチューニング戦略を論じる。
• 一般化とトレーニング効率を向上させるデータ前処理と拡張技術を説明する。
• 主要な2D、2.5D（RGB-D）、および3Dデータセットとベンチマークを提示・分類し、それらの特性と分割を含めて説明する。
• 引用されたデータセット上での手法の定性的および定量的な性能評価を提供する。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの意味的セグメンテーション手法を評価するのに最も代表的なデータセットとベンチマークは何か？
• RQ2 セグメンテーション課題に最も効果的であると証明されたアーキテクチャと訓練戦略は何か？
• RQ3 データセット全体で、深層学習アプローチは精度、速度、メモリ使用量の点で伝統的手法とどう比較されるか？
• RQ4 深層学習による意味的セグメンテーションにおける現行の課題と将来の方向性は何か？

主な発見

• 本レビューは広範なデータセット（2D、2.5D、3D）を統合し、それぞれの目的、クラス、形式、分割を明確化する。
• 深層学習ベースの意味的セグメンテーション手法は一般に伝統的手法を上回り、ラベル付きデータが限られる場合に転移学習と事前学習済みネットワークに依存する。
• セグメンテーションは分類タスクと比べてピクセルごとのラベル付きデータが小さいため、転移学習とファインチューニングが一般的な戦略である。
• データ拡張と前処理は、特に小規模データセットで一般化を改善するために不可欠であると強調されている。
• 本論文は性能志向の議論を提供し、深層学習による意味的セグメンテーションを前進させる将来の研究方向を特定する。