[論文レビュー] Robust Image Segmentation in Low Depth Of Field Images

Franz Graf, Hans‐Peter Kriegel+1 more|arXiv (Cornell University)|Feb 15, 2013

Image Processing Techniques and Applications参考文献 2被引用数 35

ひとこと要約

本論文は、形態的フィルタリングと勾配に基づくフォーカス推定を用いて、低被写界深度（DOF）画像における注目対象物（OOI）を完全自動でセグメンテーションする、頑健でパラメータフリーのアルゴリズムを提案する。本手法は、被写界深度が大きく、背景が模様があるような多様な実世界の画像においても、3つの既存手法を上回る頑健性を示し、コンテンツベース画像検索（CBIR）応用において優れた性能を発揮する。

ABSTRACT

In photography, low depth of field (DOF) is an important technique to emphasize the object of interest (OOI) within an image. Thus, low DOF images are widely used in the application area of macro, portrait or sports photography. When viewing a low DOF image, the viewer implicitly concentrates on the regions that are sharper regions of the image and thus segments the image into regions of interest and non regions of interest which has a major impact on the perception of the image. Thus, a robust algorithm for the fully automatic detection of the OOI in low DOF images provides valuable information for subsequent image processing and image retrieval. In this paper we propose a robust and parameterless algorithm for the fully automatic segmentation of low DOF images. We compare our method with three similar methods and show the superior robustness even though our algorithm does not require any parameters to be set by hand. The experiments are conducted on a real world data set with high and low DOF images.

研究の動機と目的

• カメラ設定や画像特徴に関する事前知識を必要とせず、手動のチューニングなしに完全自動でパラメータフリーのセグメンテーションアルゴリズムを低被写界深度（DOF）画像に適用すること。
• シャープな領域とぼやけた領域の間の遷移が滑らかく、明確なエッジがない低DOF画像において、注目対象物（OOI）をセグメンテーションする課題に対処すること。
• 模様のある背景、高ISOノイズ、空間的に分離された複数のOOIといった複雑な状況における手法の頑健性を向上させること。
• DOFに基づくセグメンテーションがコンテンツベース画像検索（CBIR）に与える影響を評価し、人間のフォーカス認識に一致するように類似度検索を向上させること。
• グレースケール、カラー、セピア調の画像を含む、さまざまな画像ドメイン、サイズ、色深度に広く適用可能であることを実現すること。

提案手法

• 局所的なフォーカスレベルを推定するために勾配の大きさマップを用い、高いシャープネスを示す領域を潜在的なOOIとして特定する。
• 適応的構造要素を用いた形態的フィルタリングを適用し、シャープな領域を強化・連結するとともに、ノイズや孤立ピクセルを抑制する。
• 空間的近接性とフォーカスの類似性に基づいて隣接する高フォーカス領域を統合し、一貫性のあるOOIを形成する領域統合戦略を採用する。
• アルゴリズムは完全に自動的かつパラメータフリーであり、カメラ設定、画像ドメイン、解像度などの入力は一切不要で、画像の内容のみに依存する。
• フォーカス推定は局所的な勾配分散に基づくもので、シャープネスと相関があり、ぼやけた領域のテクスチャ変動に対しても頑健である。
• 本手法はImageJプラグインとして実装され、実世界のデータセット（正解ROI付き）を用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 完全自動でパラメータフリーのセグメンテーションアルゴリズムは、既存手法と比較して、低DOF画像における注目対象物のセグメンテーションにおいて優れた頑健性を達成できるか？
• RQ2 被写界深度が広いため背景に顕著なテクスチャが現れ、OOIがぼやける場合、このアルゴリズムはどの程度の性能を示すか？
• RQ3 DOFに基づくセグメンテーションは、人間のフォーカス認識に一致することで、コンテンツベース画像検索（CBIR）の性能をどの程度向上させるか？
• RQ4 高ISOノイズ、模様のある背景、または空間的に分離された複数の注目対象物といった困難な状況下で、この手法はどのように対処するか？
• RQ5 色あざ、グレースケール、セピア調の画像など、さまざまな画像タイプに一般化可能か。ドメイン特化のチューニングなしに動作するか？

主な発見

• 提案手法は、[7]、[11]、[12]を含む3つの参照手法と比較して、すべてのテスト対象の実世界の低DOF画像において優れた頑健性を示した。
• 被写界深度が広い場合でも高いセグメンテーション精度を維持し、背景のテクスチャが顕著であっても意味のある結果を保った。
• 高ISOノイズや空間的に分離されたOOIを含む画像においても、本手法は優れた性能を発揮し、従来手法が失敗するか断片的な結果を出力する状況でも有効であった。
• 本手法はコンテンツベース画像検索（CBIR）に肯定的な影響を及ぼし、人間のフォーカス認識に一致するように類似度検出を向上させた。
• 本手法は完全に自動的かつパラメータフリーであり、解像度、色深度、カメラ設定などの事前知識や手動のチューニングを一切必要としない。
• Java WebStartデモとImageJプラグインが公開されており、ライセンスの承認を得た段階でテストデータと参照マスクも公開される予定である。