[論文レビュー] In Defense of Classical Image Processing: Fast Depth Completion on the CPU

Jason S. Ku, Ali Harakeh+1 more|arXiv (Cornell University)|Jan 31, 2018

Advanced Vision and Imaging参考文献 13被引用数 25

ひとこと要約

本論文は、古典的画像処理技術（例：膨張、穴埋め、ガウスぼかし）を用いた高速で学習を必要とせず、CPU上で動作する深度補完アルゴリズムを提案する。この手法はKITTIベンチマークで最先端の性能を達成し、トレーニングデータやGPU依存なしに90 Hzで動作しながら、1350.93 mmのRMSEで首位を記録した。深層学習ベースの手法を上回った。

ABSTRACT

With the rise of data driven deep neural networks as a realization of universal function approximators, most research on computer vision problems has moved away from hand crafted classical image processing algorithms. This paper shows that with a well designed algorithm, we are capable of outperforming neural network based methods on the task of depth completion. The proposed algorithm is simple and fast, runs on the CPU, and relies only on basic image processing operations to perform depth completion of sparse LIDAR depth data. We evaluate our algorithm on the challenging KITTI depth completion benchmark, and at the time of submission, our method ranks first on the KITTI test server among all published methods. Furthermore, our algorithm is data independent, requiring no training data to perform the task at hand. The code written in Python will be made publicly available at https://github.com/kujason/ip_basic.

研究の動機と目的

• 良好に設計された古典的画像処理アルゴリズムが、深度補完において深層学習ベースの手法を上回ることを示すこと。
• GPUアクセラレーションを必要とせず、CPU上で効率的に動作する高速でリアルタイムの深度補完アルゴリズムを開発すること。
• トレーニングデータが不要なデータに依存しない手法を構築し、過学習を回避し、耐性を高めること。
• 複雑なニューラルネットワークよりも単純で効率的な、強力で解釈可能な深度補完のベースラインを提供すること。
• 伝統的な画像処理が、深度補完のような現代のコンピュータビジョンタスクにおいて有効であることを検証すること。

提案手法

• スパースな深度マップの反転と膨張を初期処理として行い、深度領域を拡大し、小さな穴を埋める。
• 小さな穴はモルフォロジカル操作で閉じられ、その後、画像上部への深度値の拡張によりアーチファクトを低減する。
• 大きな穴は、モルフォロジカル膨張とガウスぼかしの組み合わせにより、構造を保持しながら深度値を伝搬させる。
• 2段階のぼかし処理として、メディアンフィルタとガウスフィルタを適用し、オブジェクトエッジを歪めずにノイズを低減し、深度平面を滑らかにする。
• 最終出力は、処理済みの深度マップを再反転することで元の深度値を回復する。
• この手法は、ニューラルネットワークやトレーニングデータ、画像ガイドランスを一切使用せず、標準的な画像処理演算に依存する。

Figure 1: A flowchart of the proposed algorithm. Clockwise starting at top left: Input LIDAR depth map (enhanced for visibility), inversion and dilation, small hole closure, small hole fill, extension to top of frame, large hole fill and blur, inversion for output, image of scene (not used, only for

実験結果

リサーチクエスチョン

• RQ1 古典的画像処理技術が、深度補完において深層学習ベースの手法を上回ることは可能か？
• RQ2 CPUベースで学習を必要としないアルゴリズムのみで、KITTI深度補完ベンチマークで最先端の性能を達成することは可能か？
• RQ3 モルフォロジカルカーネルの形状とサイズの選択が、古典的深度補完パイプラインの性能に与える影響は何か？
• RQ4 スパースな入力条件下で深度誤差を最小化するためのぼかし技術（例：メディアン、ガウス、バイラテラル）の最適な組み合わせは何か？
• RQ5 データに依存せず、トレーニング不能なアルゴリズムが、CPU上で90 Hzのリアルタイム性能を維持しながら高い精度を達成できるか？

主な発見

• 提案手法は、KITTI深度補完ベンチマークにおいて、RMSEが1350.93 mm、MAEが305.35 mmを達成し、提出時時点で発表済みのすべての手法の中で首位となった。
• このアルゴリズムはCPU上で90 Hzで動作し、GPUアクセラレーションやモデル推論ハードウェアを必要とせず、リアルタイム性能を実現した。
• メディアンとガウスぼかしの組み合わせにより、ぼかしを適用しない場合と比較してRMSEが150 mm以上低減され、実行時間のオーバーヘッドはわずか0.011秒であった。
• ガウスぼかしバージョンが最も低いRMSE（1350.93 mm）を達成したが、バイラテラルぼかしバージョンはオブジェクト構造をよりよく保持しており、実用的応用には推奨される。
• トレーニング不能で学習を必要としないにもかかわらず、カスタムのスパarsity不変畳み込みニューラルネットワーク（SIC-Net）を大幅に上回った。
• カラー画像や同期化されたセンサーに依存しないため、画像品質やキャリブレーション誤差に対して耐性があり、埋め込みシステムへの適用に適している。

Figure 2: A toy example summarizing the problem formulation described in equation 1 . Empty values are coloured in red, and filled by applying the function $f$ to $D_{sparse}$ .