[論文レビュー] An Approach for Noise Removal on Depth Images

Rashi Chaudhary, Himanshu Dasgupta|arXiv (Cornell University)|Feb 16, 2016

Advanced Vision and Imaging参考文献 11被引用数 6

ひとこと要約

本稿では、エッジ検出、ジョイントバイリューションフィルタリング、およびエクemplarベースの補完を組み合わせた3段階の深度画像ノイズ除去手法を提案する。この手法は、構造的詳細を保持しながらノイズを除去することに成功し、PSNRの向上（最大6.234 dB）とリアルタイム性能（752×520画像あたり32 ms）を達成しており、3D再構築および新規ビューレンダリングのための深度マップ品質を顕著に向上させる。

ABSTRACT

Image based rendering is a fundamental problem in computer vision and graphics. Modern techniques often rely on depth image for the 3D construction. However for most of the existing depth cameras, the large and unpredictable noises can be problematic, which can cause noticeable artifacts in the rendered results. In this paper, we proposed an efficacious method for depth image noise removal that can be applied for most RGBD systems. The proposed solution will benefit many subsequent vision problems such as 3D reconstruction, novel view rendering, object recognition. Our experimental results demonstrate the efficacy and accuracy.

研究の動機と目的

• RGB-Dセンサーからの深度画像におけるノイズの問題に取り組み、3D再構築およびレンダリング品質の低下を是正すること。
• 複雑なシーンにおいて弱いエッジをぼかしてしまう伝統的なフィルタ（例：バイリューションフィルタ）の限界を克服すること。
• ノイズを効果的に除去しながら構造的忠実性を保持する手法を開発し、下流のビジョンタスクの性能を向上させること。
• ヒストグラムベースのクラスタリングと領域別補完を用いて計算コストを最適化することで、リアルタイム適用を可能にすること。
• エッジで定義された領域内でのパッチベース補完を活用することで、深度マップの復元精度を向上させること。

提案手法

• 顕著なエッジを特定し、画像を異なる構造的領域にセグメンテーションするため、Cannyエッジ検出を適用する。
• エッジマップをガイドとして用い、均一な領域を滑らかにしながらエッジを保持するジョイントバイリューションフィルタリングを実行する。
• 等光度線駆動サンプリングを用いたエクステンプレアベースの補完戦略を実装し、ノイズが多いまたは欠損した領域を埋める。
• パッチの優先順位を合成指標 P(p) = C(p) × D(p) により定義する。ここで C(p) は信頼度、D(p) はデータ項を表す。
• 同じ構造的領域内（エッジマップで定義された領域内）でのみパッチ探索を制限することで、幾何的整合性を維持する。
• エッジ検出の前段階としてヒストグラムベースのクラスタリングを実施し、歪みを低減するとともに処理効率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 弱く複雑なエッジを保持しながらノイズを除去できるように、深度画像のノイズ除去をどのように改善できるか？
• RQ2 フィルタリングと補完を組み合わせたハイブリッドアプローチは、従来のフィルタリング単体に比べて、より高い精度を達成できるか？
• RQ3 パッチサイズがPSNRおよび視覚的品質の観点から、ノイズ除去性能に与える影響は何か？
• RQ4 補完の計算コストを、ノイズ除去精度を損なわずどのように低減できるか？
• RQ5 検出されたエッジによってガイドされる領域特化型補完は、深度マップの忠実性をどの程度向上させるか？

主な発見

• 20×20のパッチサイズを用いた場合、'Ballet'シーケンスで最大6.234 dBのPSNRを達成し、高いノイズ除去精度を示した。
• 752×520の画像に対して平均32 msの処理時間であり、標準的なハードウェア上でのリアルタイム実行可能性を示した。
• 多様なテストサンプルおよびパッチサイズにおいて安定した性能を示し、一貫したPSNR向上を達成した。
• 領域制限付きのパッチ探索を用いることで、構造的一致性を保ちながら再構築品質が顕著に向上した。
• エッジ検出、ジョイントフィルタリング、エクステンプレアベース補完の組み合わせは、細かなディテールをよりよく保持する点で、標準的なバイリューションフィルタを上回った。
• ヒストグラムベースの前処理によりエッジ検出の歪みが低減され、より正確な領域セグメンテーションと優れた補完結果に寄与した。