[論文レビュー] Scene Parsing with Multiscale Feature Learning, Purity Trees, and Optimal Covers

Clément Farabet, Camille Couprie+2 more|arXiv (Cornell University)|Feb 9, 2012

Advanced Image and Video Retrieval Techniques参考文献 26被引用数 135

ひとこと要約

本論文では、マルチスケール畳み込み特徴、画素間の相違度に基づくセグメンテーションツリー、および最適カバー法を用いて純粋なセグメントを選択することで、高速でエンドツーエンドのシーン解析システムを提案する。本手法は、スタンフォードバックグラウンド（79.5％ピクセル単位）、SIFT Flow（78.5％）、バルセロナ（67.8％）のデータセットで最先端の精度を達成しており、320×240の画像を1秒未塔で処理できる。

ABSTRACT

Scene parsing, or semantic segmentation, consists in labeling each pixel in an image with the category of the object it belongs to. It is a challenging task that involves the simultaneous detection, segmentation and recognition of all the objects in the image. The scene parsing method proposed here starts by computing a tree of segments from a graph of pixel dissimilarities. Simultaneously, a set of dense feature vectors is computed which encodes regions of multiple sizes centered on each pixel. The feature extractor is a multiscale convolutional network trained from raw pixels. The feature vectors associated with the segments covered by each node in the tree are aggregated and fed to a classifier which produces an estimate of the distribution of object categories contained in the segment. A subset of tree nodes that cover the image are then selected so as to maximize the average "purity" of the class distributions, hence maximizing the overall likelihood that each segment will contain a single object. The convolutional network feature extractor is trained end-to-end from raw pixels, alleviating the need for engineered features. After training, the system is parameter free. The system yields record accuracies on the Stanford Background Dataset (8 classes), the Sift Flow Dataset (33 classes) and the Barcelona Dataset (170 classes) while being an order of magnitude faster than competing approaches, producing a 320 \ imes 240 image labeling in less than 1 second.

研究の動機と目的

• マルチスケールの文脈的特徴を活用することで、セマンティックセグメンテーションにおける同時的な検出、セグメンテーション、認識の課題に取り組む。
• 手作業で設計された特徴量を排除し、生のピクセルからエンドツーエンドで畳み込みネットワークを学習することで、特徴量を生成する。
• 最適カバー法を用いて、セグメントの純粋性（不純度）を最小化するツリーのノードの部分集合を選択することで、セグメンテーションの一貫性を向上させる。
• 階層的セグメンテーションと効率的な特徴量集約・分類の組み合わせにより、高い精度と高速性を実現する。

提案手法

• 生の入力画像からマルチスケールのコントラスト正規化ラプラシアンピラミッドを構築し、多様な空間的文脈を捉える。
• ピラミッドの各スケールに二段階の畳み込みネットワークを適用し、各ピクセルに対して密度の高いマルチスケール特徴マップを生成。その後、アップサンプリングおよび連結処理を行う。
• 隣接するピクセル間の色ベースの相違度をエッジとして表す画素相違度グラフの最小全域木を用いて、セグメンテーションツリーを構築する。
• 各ツリーノード内での特徴ベクトルを5×5の空間グリッドに集約し、成分ごとの最大プーリングを適用することで、スケール不変なセグメント表現を生成する。
• 集約された特徴グリッド上で分類器を学習し、各セグメントのクラス分布（およびエントロピーに基づく不純度）を推定する。
• 平均的なセグメント不純度（エントロピー）を最小化するように、貪欲アルゴリズムを用いてツリーノードの最適カバーを選択し、グローバルに一貫性があり純粋なセグメンテーションを生成する。

実験結果

リサーチクエスチョン

• RQ1 生のピクセルからエンドツーエンドに学習されたマルチスケール畳み込みネットワークは、手作業で設計された特徴量を一切用いずに、効果的なシーン解析特徴量を生成できるか？
• RQ2 画素間の相違度から導出されるセグメンテーションツリーは、正確なセマンティックラベリングを支援する意味のある画像セグメントを符号化できるか？
• RQ3 セグメントの不純度（エントロピー）を最小化する最適カバーは、グラフカットなどの従来の推論手法よりも優れたセグメンテーションの一貫性をもたらすか？
• RQ4 マルチスケール特徴、ツリーに基づくセグメンテーション、および純粋性を最適化するカバー選択の組み合わせにより、最先端の精度を達成するとともに、1秒未塔の推論速度を維持できるか？

主な発見

• スタンフォードバックグラウンドデータセットでは、ピクセル単位で79.5％の精度、平均クラス単位で74.3％の精度を達成し、先行手法を上回った。
• SIFT Flowデータセットでは、クラスのバランスを取ったサンプリングを用い、ピクセル単位で78.5％の精度を達成。特に小サイズのオブジェクト認識が顕著に向上した。
• 170クラスを含むバルセロナデータセットでは、バランスサンプリングを用いた場合にピクセル単位で67.8％の精度を達成し、高クラス数の複雑さに対しても高い耐性を示した。
• 標準CPU上で320×240の画像を処理する推論時間は1秒未塔であり、競合手法と比べて1桁以上高速であった。
• 学習後はパラメータフリーであり、推論時にしきい値のチューニングやハイパーパrameterの調整が一切不要であった。
• 周波数バランスサンプリングにより、レアクラスの認識が向上したが、全体のピクセル精度は低下した。これは、グローバル性能とクラス別性能のトレードオフを示している。