[論文レビュー] Occlusion Edge Detection in RGB-D Frames using Deep Convolutional Networks

Soumik Sarkar, Vivek Venugopalan+4 more|arXiv (Cornell University)|Dec 22, 2014

Industrial Vision Systems and Defect Detection参考文献 25被引用数 9

ひとこと要約

本論文は、RGB-D動画フレームにおけるオクルージョンエッジ検出のための深層畳み込みニューラルネットワーク（CNN）を提案する。このタスクは、画像パッチの中心画素の分類問題として扱われる。本手法はRGB-DおよびRGB入力の両方で頑健な性能を発揮し、深度データが検出精度を向上させることを示している。一方、深度なしでも誤検出は低く抑えられ、解像度と速度の調整可能なトレードオフを実現しているため、リアルタイムのロボティクス応用に適している。

ABSTRACT

Occlusion edges in images which correspond to range discontinuity in the scene from the point of view of the observer are an important prerequisite for many vision and mobile robot tasks. Although they can be extracted from range data however extracting them from images and videos would be extremely beneficial. We trained a deep convolutional neural network (CNN) to identify occlusion edges in images and videos with both RGB-D and RGB inputs. The use of CNN avoids hand-crafting of features for automatically isolating occlusion edges and distinguishing them from appearance edges. Other than quantitative occlusion edge detection results, qualitative results are provided to demonstrate the trade-off between high resolution analysis and frame-level computation time which is critical for real-time robotics applications.

研究の動機と目的

• ロボティクスタスク（ナビゲーション、グリッピング、SLAMなど）に不可欠なRGB-D動画フレームにおけるオクルージョンエッジ検出のための深層学習ベースの手法を開発すること。
• RGB-DおよびRGB入力の両方を用いたCNNの性能を評価し、深度データが検出精度に与える影響を分析すること。
• モバイルロボティクスにおけるリアルタイムデプロイメントを考慮した、高解像度エッジ検出とフレーム単位の計算時間のトレードオフを分析すること。
• オクルージョンエッジと外観エッジ（テクスチャや照明によるものなど）を区別するための階層的特徴学習をCNNが活用することで、手作業による特徴量の必要性を排除すること。
• 公開利用可能なRGB-Dベンチマークデータセットを用いて、スケーラブルでハードウェアアクセラレーション対応のフレームワークを提供すること。

提案手法

• オクルージョンエッジ検出タスクは、21×21の画像パッチの中心画素に対する二値分類問題として定式化され、RGB-DまたはRGBチャネルからの入力を用いる。
• 57,518個のトレーニングパッチがRGB-Dフレームから抽出され、その上で教師あり学習を用いてエンドツーエンドに深層CNNアーキテクチャを訓練する。
• ネットワークはReLU活性化関数を用い、NVIDIA K-40 GPU上で最適化され、ベンチマークデータセットはTUM RGB-Dデータセットコレクションから取得された。
• パッチレベルの予測は、可変ストライド（4および8）を用いたスライディングウィンドウアプローチにより統合され、フルフレームのオクルージョンエッジマップが生成される。
• 後処理には信頼度ヒートマップ作成と空間的集約処理が含まれ、エッジの連続性を向上させ、ノイズを低減する。
• モデルの評価には、1,271,002個のテストパッチを用いた標準指標（全体誤差、誤検出率、見逃し検出率）が用いられた。

実験結果

リサーチクエスチョン

• RQ1 手作業による特徴量を用いずに、深層CNNはRGB-D動画フレームにおけるオクルージョンエッジを効果的に検出できるか？
• RQ2 深度情報が欠落した場合、RGB入力のみを用いた場合にCNNの性能はどの程度低下するか？
• RQ3 リアルタイムのロボティクス応用において、ストライドによる検出解像度と計算効率のトレードオフは何か？
• RQ4 CNNは、テクスチャや照明による外観エッジとオクルージョンエッジを高精度で区別できるか？
• RQ5 深度データの導入が、オクルージョンエッジ検出における誤検出率および見逃し検出率に与える影響は何か？

主な発見

• RGB-D入力では全体誤差率が15.7%に達し、RGBのみの入力（15.74%）よりも顕著に優れた性能を示した。
• 誤検出率は非常に低く、RGB-Dでは15.38%、RGBでは15.42%であり、誤検出に対する強い頑健性を示した。
• 見逃し検出率は高めで、RGB-Dでは43.59%、RGBでは45.71%であり、複雑なシーンにおける真のオクルージョンエッジの検出にモデルが苦労していることを示した。
• 深度データを除去した場合の誤検出率の低下は最小限であり、RGB特徴量のみでも信頼性の高いエッジ分類が可能であることが示された。
• ストライド4ではストライド8よりも高解像度のエッジマップが得られ、誤検出も少なくなるが、計算時間の増加を伴う。
• トレーニングプロセスは収束せず、エポックを経るごとに訓練誤差が減少した。これはReLU活性化関数の使用に起因するとされている。