[論文レビュー] Dirty Pixels: Optimizing Image Classification Architectures for Raw Sensor Data

Steven Diamond, Vincent Sitzmann+3 more|arXiv (Cornell University)|Jan 23, 2017

Image and Signal Denoising Methods参考文献 45被引用数 68

ひとこと要約

本稿では、ノイズとブラーを同時に最適化し、ロウセンサデータの画像分類を実行するエンドツーエンド微分可能アーキテクチャを提案する。低照度およびノイズの多い条件下でも、分類精度を顕著に向上させる。従来の手法とは異なり、分類に特化した処理パイプラインを学習し、ノイズやアーティファクトが増加しても、細かなディテールを保持する。

ABSTRACT

Real-world sensors suffer from noise, blur, and other imperfections that make high-level computer vision tasks like scene segmentation, tracking, and scene understanding difficult. Making high-level computer vision networks robust is imperative for real-world applications like autonomous driving, robotics, and surveillance. We propose a novel end-to-end differentiable architecture for joint denoising, deblurring, and classification that makes classification robust to realistic noise and blur. The proposed architecture dramatically improves the accuracy of a classification network in low light and other challenging conditions, outperforming alternative approaches such as retraining the network on noisy and blurry images and preprocessing raw sensor inputs with conventional denoising and deblurring algorithms. The architecture learns denoising and deblurring pipelines optimized for classification whose outputs differ markedly from those of state-of-the-art denoising and deblurring methods, preserving fine detail at the cost of more noise and artifacts. Our results suggest that the best low-level image processing for computer vision is different from existing algorithms designed to produce visually pleasing images. The principles used to design the proposed architecture easily extend to other high-level computer vision tasks and image formation models, providing a general framework for integrating low-level and high-level image processing.

研究の動機と目的

• ノイズやブラーなどの現実世界のセンサ劣化に起因する画像分類のロバスト性を向上させること。
• 低レベルの画像修復と高レベルの分類をエンドツーエンド微分可能に統合する共同最適化フレームワークを構築すること。
• 従来のノイズ除去およびブラー除去アルゴリズムの限界を克服すること。これらの手法は視覚的品質の最適化を目的としており、分類性能の最適化ではない。
• コンピュータビジョンにおける最適な低レベル処理が、感覚的品質を目的とした手法とは根本的に異なることを示すこと。

提案手法

• 分類とロウセンサ入力の復元を同時に最適化する微分可能パイプラインを用いて、エンドツーエンドでアーキテクチャを訓練する。
• バックプロパゲーション中に分類ヘッドと共同で最適化される学習可能なノイズ除去およびブラー除去モジュールを統合する。
• 分類に不可欠な微細なセマンティックディテールを保持するように設計された復元部は、視覚的に顕著なアーティファクトを生じる可能性があるが、それを許容する。
• ロウ画像データの再構成損失と分類の交差エントロピー損失を統合した統一損失関数を用いる。
• 現実のセンサデータ（実際のノイズとブラーを含む）を用いて訓練することで、低照度や劣化した条件に対するロバスト性を実現する。
• フレームワークは汎用的であり、他の高レベルビジョンタスクや画像形成モデルへも応用可能である。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去、ブラー除去、分類の共同エンドツーエンド最適化は、分離処理や再訓練と比較して、低照度およびノイズの多い条件下でのロバスト性を向上させるか？
• RQ2 共同最適化された復元パイプラインで訓練された分類ネットワークの性能は、ノイズのあるデータで再訓練する場合や、従来の前処理を用いる場合と比較してどうなるか？
• RQ3 コンピュータビジョンの低レベル画像処理において、感覚的品質と分類精度の間にはどのようなトレードオフがあるか？
• RQ4 分類に最適な復元特徴は、最先端の画像修復手法が生成する特徴とどの程度異なるか？

主な発見

• 提案アーキテクチャは、ノイズとブラーのある画像でネットワークを再訓練した場合よりも顕著に高い分類精度を達成した。
• 視覚的品質が優れているとされる最先端のノイズ除去およびブラー除去アルゴリズムを用いた従来の前処理よりも優れた性能を示した。
• 学習された復元パイプラインは、標準的手法よりもノイズやアーティファクトが多くても、分類に不可欠な微細なセマンティックディテールを保持した。
• 結果から、コンピュータビジョンにおける最適な低レベル処理は、視覚的品質を目的としたものとは同一ではないことが示され、感覚的忠実度が主たる目的であるという仮定に疑問を呈した。
• フレームワークは汎用的であり、他の高レベルビジョンタスクや画像形成モデルへも拡張可能であることが示された。