[論文レビュー] A Robust Regression Approach for Background/Foreground Segmentation

Shervin Minaee, Haoping Yu+1 more|arXiv (Cornell University)|Dec 16, 2014

Video Surveillance and Tracking Methods参考文献 14被引用数 7

ひとこと要約

本稿では、DCT基底関数を用いて滑らかな背景領域をモデル化し、RANSACを用いて鋭い不連続性（テキスト/グラフィック）を外れ値として特定することで、スクリーンコンテンツおよびミックスドキュメント画像における背景/前景セグメンテーションのためのレジームスな回帰手法を提案する。この手法は、特に前景と背景の強度範囲が重複する場合にk-meansクラスタリングより優れている。また、K=14の基底関数を用いることで掌紋線抽出にも効果的に拡張可能である。

ABSTRACT

Background/foreground segmentation has a lot of applications in image and video processing. In this paper, a segmentation algorithm is proposed which is mainly designed for text and line extraction in screen content. The proposed method makes use of the fact that the background in each block is usually smoothly varying and can be modeled well by a linear combination of a few smoothly varying basis functions, while the foreground text and graphics create sharp discontinuity. The algorithm separates the background and foreground pixels by trying to fit pixel values in the block into a smooth function using a robust regression method. The inlier pixels that can fit well will be considered as background, while remaining outlier pixels will be considered foreground. This algorithm has been extensively tested on several images from HEVC standard test sequences for screen content coding, and is shown to have superior performance over other methods, such as the k-means clustering based segmentation algorithm in DjVu. This background/foreground segmentation can be used in different applications such as: text extraction, separate coding of background and foreground for compression of screen content and mixed content documents, principle line extraction from palmprint and crease detection in fingerprint images.

研究の動機と目的

• 背景の色が滑らかに変化し、前景の強度と重複する可能性があるスクリーンコンテンツおよびスキャンドキュメントにおける正確な背景/前景セグメンテーションの課題に対処すること。
• k-meansのようなクラスタリングベースの手法が、前景と背景の色が類似している場合や複数の前景色が存在する場合に失敗するという制限を克服すること。
• 背景領域の滑らかさを活用し、不連続性を前景として検出するレジームスな回帰を用いたセグメンテーション手法の開発。
• スクリーンコンテンツにとどまらず、掌紋画像における特徴線抽出などの他の画像解析タスクへの応用可能性を拡張すること。

提案手法

• 各画像ブロックの背景を、K個の滑らかに変化するDCT基底関数の線形結合としてモデル化する。
• 滑らかなモデルに適合するインライアーピクセルを特定することで、RANSACを用いて基底関数の係数をレジームスに推定する。
• 滑らかなモデルに適合しないピクセル（つまり、大きな残差を持つもの）を外れ値として扱い、前景と分類する。
• より大きなブロックから開始する再帰的クアッドツリー分解を適用し、RANSACが十分なインライアーピクセルを特定できない場合にのみ分割を行う。
• 計算上の実行可能性を確保するため、l0ノルムの近似としてl1ノルム最小化を用いたスパース分解を適用する。
• セグメンテーションの後処理として、最大の連結成分のみを保持することで、特に掌紋応用において前景マップの品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 DCT基底関数を用いたレジームスな回帰は、スクリーンコンテンツ画像の背景と前景のセグメンテーションにおいて、k-meansのような従来のクラスタリング手法を上回ることができるか？
• RQ2 薄い色のテキストが薄い背景に重ねられたような場合、前景と背景の強度が重複するケースにおいて、提案手法はどの程度有効か？
• RQ3 本手法は、スクリーンコンテンツにとどまらず、低コントラストの掌紋画像における特徴線抽出のような他の画像解析タスクへ一般化可能か？
• RQ4 掌紋画像のような複雑な背景をモデル化する際の最適な基底関数の数（K）は何か？
• RQ5 再帰的クアッドツリー分解は、計算コストを削減しながらも、セグメンテーションの正確性をどのように向上させるか？

主な発見

• 本手法は、HEVCスクリーンコンテンツテストシーケンスにおいて、DjVuのk-meansクラスタリングベースのセグメンテーションを著しく上回り、特に滑らかに変化する背景を示すブロックで顕著な優位性を示した。
• 強度値が背景と重複する場合でも、本アルゴリズムは前景ピクセルを正しくセグメンテーションでき、これはクラスタリングベース手法の主な失敗要因である。
• 掌紋画像ではK=14の基底関数を用いることで、正確な特徴線抽出が可能となり、本手法のテクスチャや低コントラスト背景に対しても高いレジームス性を示した。
• 再帰的クアッドツリー分解戦略により、すべてのブロックに対してRANSACを実行する必要を避け、計算コストを削減しながらも高いセグメンテーション正確性を維持できた。
• l1ノルム最小化を用いたスパース分解の定式化により、スパース誤差項Sにおける大きな残差として前景ピクセルが効果的に特定された。
• 最大の連結成分のみを保持する後処理により、特にノイズが多いか複雑な背景領域では、前景マップの品質が向上した。