[論文レビュー] Differential Angular Imaging for Material Recognition

Jia Xue, Hang Zhang+2 more|arXiv (Cornell University)|Dec 7, 2016

Advanced Optical Sensing Technologies参考文献 26被引用数 10

ひとこと要約

本稿では、標準カメラを用いて微小な視点の角度変化を捉えることで、屋外シーンにおける素材認識を向上させるための微分的視角画像法（DAI）を提案する。これにより、実験室設備を必要とせず、豊富な放射計測的特徴量を獲得できる。著者らは40種類の地面素材クラスを含む34,243枚の画像を有するGTOSデータセットを構築し、微分的視角画像ネットワーク（DAIN）を開発した。DAINは、微分画像からの視点勾配を活用することで、GTOSデータセット上で81.4%の最先端の認識精度を達成し、単一視点およびマルチビューのCNNを上回った。

ABSTRACT

Material recognition for real-world outdoor surfaces has become increasingly important for computer vision to support its operation "in the wild." Computational surface modeling that underlies material recognition has transitioned from reflectance modeling using in-lab controlled radiometric measurements to image-based representations based on internet-mined images of materials captured in the scene. We propose to take a middle-ground approach for material recognition that takes advantage of both rich radiometric cues and flexible image capture. We realize this by developing a framework for differential angular imaging, where small angular variations in image capture provide an enhanced appearance representation and significant recognition improvement. We build a large-scale material database, Ground Terrain in Outdoor Scenes (GTOS) database, geared towards real use for autonomous agents. The database consists of over 30,000 images covering 40 classes of outdoor ground terrain under varying weather and lighting conditions. We develop a novel approach for material recognition called a Differential Angular Imaging Network (DAIN) to fully leverage this large dataset. With this novel network architecture, we extract characteristics of materials encoded in the angular and spatial gradients of their appearance. Our results show that DAIN achieves recognition performance that surpasses single view or coarsely quantized multiview images. These results demonstrate the effectiveness of differential angular imaging as a means for flexible, in-place material recognition.

研究の動機と目的

• 実験室での反射率測定が不実用な屋外の現実世界環境において、堅牢な素材認識を実現すること。
• インターネットから抽出した画像を用いて、制御された実験室での反射率モデルと文脈依存の画像ベース認識のギャップを埋めること。
• 微小な視点角度の変化が、素材認識を向上させる意味のある反射率勾配を捉えられることを検証すること。
• 放射計測の豊かさを保ちつつ、実用的で柔軟なシーン内イメージングフレームワークを構築すること。
• ベンチマーク用に公開可能な大規模な屋外素材データベース（GTOS）を構築すること。

提案手法

• 標準カメラを用いて、屋外の地面表面をわずかに異なる視点角度で複数回撮影し、視点角度の微小な勾配を離散的に近似する。
• 微分画像を $ I_{\delta} = I_v - I_{v+\delta} $ として計算し、反射率および3次元表面テクスチャの視点勾配を符号化する。
• オリジナル画像（$ I_v $）と微分画像（$ I_\delta $）の両方を処理する2ストリームCNNアーキテクチャである微分的視角画像ネットワーク（DAIN）を設計する。
• 中間層で特徴量の統合戦略として、和集合プーリングや3次元畳み込みフィルタを用い、両ストリームからの特徴量を統合する。
• 新規に構築したGTOSデータセット上でDAINを訓練および評価し、1つのサンプルあたり40クラス、18視点、4種類の照度条件、3つの露出レベルを含む。
• 5分割交差検証を用いて、DAINの性能を単一視点CNN、マルチビューCNN、および既存の最先端手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 単一視点撮影と比較して、微小な視点角度の変化が素材認識性能を顕著に向上させることができるか？
• RQ2 微小な基準視点差による得られた微分画像が、素材分類に有用な反射率および表面テクスチャの特徴を符号化しているか？
• RQ3 DAINのようなディープラーニングアーキテクチャが、オリジナル画像と微分画像の両方を効果的に活用して認識精度を向上させることができるか？
• RQ4 現実の屋外環境において、微分的視点画像法は粗いマルチビュー撮影や実験室でのBRDF測定と比較して優れているか？
• RQ5 提案されたGTOSデータセットが、制約のない環境下でも堅牢で一般化可能な素材認識をどの程度支援できるか？

主な発見

• DAINはGTOSデータセット上で81.4%の認識精度を達成し、FV+CNN（75.4%）やMVCNN（78.1%）といった最先端手法を上回った。
• 3Dフィルタとプーリングを用いたマルチビューDAINは81.2%の精度を達成し、標準的なマルチビューCNNと比較して、微分的視点画像法が顕著に性能向上をもたらしていることを示した。
• オリジナル画像（$ I_v $）と微分画像（$ I_\delta $）を併用した単一視点DAINは、79.4%の精度を達成し、標準CNNの74.3%を上回った。
• 微分画像ストリーム自体が重要な情報を提供しており、$ I_v $ と $ I\_\delta $ を併用したDAINは79.4%の精度を達成し、単一視点ベースラインを上回った。
• GTOSデータセットには40クラスにわたる34,243枚の画像が含まれており、18視点、4種類の照度条件、1サンプルあたり3つの露出レベルを有し、視点感度の評価が堅牢に行える。
• DAINは49視点の完全なLytro 4Dライトフィールドデータセット（83.0%精度）よりも、わずか8つの戦略的に選択された視点で81.2%の精度を達成し、優れた性能を示した。