[論文レビュー] Feedforward semantic segmentation with zoom-out features

Mohammadreza Mostajabi, Payman Yadollahpour+1 more|arXiv (Cornell University)|Dec 2, 2014

Advanced Neural Network Applications参考文献 26被引用数 43

ひとこと要約

本稿では、事前学習済み畳み込みネットワークを用いて、局所的なスーパーピクセルからグローバルな画像コンテキストに至るまでのマルチスケールでズームアウトした特徴を統合することで、スーパーピクセル分類を向上させるフィードフォワード意味セグメンテーションフレームワークを提案する。非対称損失関数を用いて深層フィードフォワードネットワークを訓練することで、複雑な推論を伴わない構造的モデルを上回る、PASCAL VOC 2012で64.4%の平均mIoUという最先端の性能を達成した。

ABSTRACT

We introduce a purely feed-forward architecture for semantic segmentation. We map small image elements (superpixels) to rich feature representations extracted from a sequence of nested regions of increasing extent. These regions are obtained by "zooming out" from the superpixel all the way to scene-level resolution. This approach exploits statistical structure in the image and in the label space without setting up explicit structured prediction mechanisms, and thus avoids complex and expensive inference. Instead superpixels are classified by a feedforward multilayer network. Our architecture achieves new state of the art performance in semantic segmentation, obtaining 64.4% average accuracy on the PASCAL VOC 2012 test set.

研究の動機と目的

• 意味セグメンテーションが、明示的な構造的予測や複雑な推論を伴わずに最先端の性能を達成できるかどうかを検討すること。
• スーパーピクセル分類において、長距離のコンテキスト依存関係を捉えるために、マルチスケールでズームアウトした特徴の統合の有効性を調査すること。
• 非構造的モデルを上回る性能を達成できるかどうかを評価すること。
• 特徴工学的アプローチにより構造的側面を暗黙的に行うことで、深層畳み込みネットワークを意味セグメンテーションに効果的に活用できるかどうかを示すこと。
• ズームアウト領域からの学習された表現に手作業特徴を置き換えることで、エンドツーエンド学習のためのベースラインを確立すること。

提案手法

• 本手法はスーパーピクセルを入力ユニットとして用い、局所（スーパーピクセル自体）、近接（小さな近傍）、遠方（より大きな領域）、グローバル（画像全体）の4つの空間スケールで特徴を抽出する「ズームアウト」戦略を採用する。
• 各ズームアウトスケールでの特徴は、事前学習済み畳み込みニューラルネットワーク（ConvNets）を用いて抽出され、全スケールで同一のネットワークを用いることで一貫性を保つ。
• 全4スケールの特徴ベクトルを連結し、各スーパーピクセルに対して1つの高次元表現を生成する。
• 連結されたズームアウト特徴に基づいて、マルチレイヤーのフィードフォワードニューラルネットワークが各スーパーピクセルを分類する。この分類器は、クラス不均衡の改善を図るために非対称損失関数で訓練される。
• マルチスケール特徴統合に統合されたコンテキスト推論を組み込むことで、CRFやCRFに類似した推論を回避する。
• 後処理として、孤立した誤分類領域を補正するための学習済み分類器を適用し、検証精度を約0.5%向上させた。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールのズームアウト特徴を有する純粋なフィードフォワードアーキテクチャが、構造的予測や複雑な推論を伴わずして最先端の意味セグメンテーション性能を達成できるか？
• RQ2 局所特徴のみまたは単一スケール特徴抽出と比較して、局所～グローバルまでの複数スケールの特徴統合が、セグメンテーション精度向上にどの程度有効であるか？
• RQ3 非対称損失関数の使用が、特にクラス不均衡の問題に対処する上で、セグメンテーション性能にどの程度向上効果をもたらすか？
• RQ4 異なるズームアウトスケールで適用された事前学習済みConvNetsが、空間的構造の明示的モデリングなしに、画像領域間のコンテキスト依存関係を効果的に符号化できるか？
• RQ5 単一段階で非構造的な分類フレームワークを用いて、既存のSOTA結果を上回ることが可能か？

主な発見

• 提案手法は、PASCAL VOC 2012のテストセットで64.4%の平均交差率（mIoU）を達成し、発表当時、新たな最先端性能を樹立した。
• ズームアウト特徴統合戦略は、局所特徴のみまたは単一スケール特徴抽出と比較して顕著に性能向上をもたらした。これは、長距離コンテキストのより良いモデリングに起因する。
• 非対称損失関数を用いた分類器の訓練は、特にレアクラスや検出が難しいクラスにおいて、測定可能な性能向上をもたらした。
• スタンフォードバックグラウンドデータセット（SBD）においても、本手法は最近の手法を上回り、82.1%のピクセル精度と77.3%のクラス精度を達成した。これは、マルチスケールや再帰的CNNを含む先行研究をも凌駆した。
• 明示的な構造的モデリングがなくても、視覚的に整合性のあるセグメンテーションが得られたが、一部のアーチファクト（例：小さな孤立領域）は依然として残存していた。
• 孤立領域の補正に学習済み分類器を適用した後処理により、検証精度が約0.5%向上した。これは、さらなる最適化の余地があることを示している。