[論文レビュー] A Classification Refinement Strategy for Semantic Segmentation

James W. Davis, Christopher Menart+2 more|arXiv (Cornell University)|Jan 23, 2018

Advanced Neural Network Applications参考文献 12被引用数 4

ひとこと要約

本稿では、分類器の誤り確率と画像固有のラベル事前分布を活用して、文脈内および文脈外の誤りを是正することで、意味的セグメンテーションを向上させるベイジアン精錬フレームワークを提案する。確率的モデルを用いて画素単位の信頼度スコアを再推定することで、ベンチマークデータセット上で最大12.0%の画素精度向上と25.3%の平均IoU向上を達成し、最先端モデルを著しく上回る性能向上を示した。

ABSTRACT

Based on the observation that semantic segmentation errors are partially predictable, we propose a compact formulation using confusion statistics of the trained classifier to refine (re-estimate) the initial pixel label hypotheses. The proposed strategy is contingent upon computing the classifier confusion probabilities for a given dataset and estimating a relevant prior on the object classes present in the image to be classified. We provide a procedure to robustly estimate the confusion probabilities and explore multiple prior definitions. Experiments are shown comparing performances on multiple challenging datasets using different priors to improve a state-of-the-art semantic segmentation classifier. This study demonstrates the potential to significantly improve semantic labeling and motivates future work for reliable label prior estimation from images.

研究の動機と目的

• 意味的セグメンテーションモデルにおける体系的な誤り、特に文脈内および文脈外の誤分類を是正すること。
• 再トレーニングを伴わずに分類器の信頼度推定を向上させる後処理精錬戦略の開発。
• 異なるラベル事前分布定義の精錬性能に与える影響の調査。
• 誤り統計と画像固有の事前分布が、セグメンテーション精度を著しく向上させられることの実証。
• 入力画像から信頼性のある事前分布を推定するための今後の研究の動機付け。

提案手法

• 本手法は、p(l|d)のベイジアン周辺化としてラベル精錬を定式化し、分類器出力確率と学習済みの誤り確率に分解する。
• 誤り確率は、検証セットを用いた最尤推定法により、ラベル誤分類パターンを安定的に推定する。
• ラベル事前分布は、二値（存在／非存在）、ヒストグラムベース（クラス頻度）、および制約なし（画像ごとに最適化）の複数の形で定義される。
• 各画素における最終的なラベル確率は、分類器の出力と、誤り行列および事前分布を用いて重み付けされた修正後後方分布の組み合わせとして計算される。
• フレームワークはテスト画像ごとに独立して適用可能であり、文脈に応じた信頼度スコアの再推定を可能にする。
• 本手法は任意のベースとなる意味的セグメンテーションモデルと互換性があり、CRFなどの空間モデルと統合することでさらなる精錬が可能である。

実験結果

リサーチクエスチョン

• RQ1 分類器の誤り確率は、意味的セグメンテーション予測の精錬に効果的に利用可能か？
• RQ2 異なるラベル事前分布定義（二値、ヒストグラム、制約なし）は、精錬性能にどのように影響するか？
• RQ3 後処理により、文脈内および文脈外のラベリング誤りをどの程度低減できるか？
• RQ4 この精錬戦略によって達成可能な性能向上の理論的上限はどの程度か？
• RQ5 実用的導入を可能にするために、入力データから信頼性のある画像ベースの事前分布を推定できるか？

主な発見

• 提案手法は、3つのベンチマークデータセットで画素精度が9.7–12.0%向上する上限を達成した。
• 最適な事前分布を用いた精錬信頼度では、平均交差率（mIoU）が17.3–25.3%向上した。
• 制約なし事前分布 $P_{uc}(l)$ が最高の性能を示し、ヒストグラム事前分布 $P_{hist}(l)$ よりも画素精度で0.9–2.3%、mIoUで1.6–3.3%の追加向上を達成した。
• 画像固有の事前分布（$P_{binary}(l)$, $P_{hist}(l)$, $P_{uc}(l)$）は、グローバル事前分布（$P_{uniform}(l)$, $P_{global}(l)$）を著しく上回り、後者は最小または顕著な向上を示さなかった。
• ヒストグラム事前分布 $P_{hist}(l)$ は強力な性能上限を提供しており、今後の事前分布推定手法の主な標的であると特定された。
• 本手法は、文脈内誤り（例：ソファーが床と誤分類）と文脈外誤り（例：屋外シーンにモーターバイクラベル）の両方を効果的に低減でき、広範な適用可能性を示した。