[論文レビュー] Reflectance Hashing for Material Recognition

Hang Zhang, Kristin Dana+1 more|arXiv (Cornell University)|Feb 7, 2015

Advanced Image and Video Retrieval Techniques参考文献 2被引用数 4

ひとこと要約

本稿では、1回の撮影で反射率ディスクを捉えるパラボリックミラー搭載カメラを用い、材料の高次元反射率ディスクを取得し、辞書学習を用いたバイナリーハッシングで符号化することで、少数の学習データでも正確で効率的な材料認識を実現する、反射率ハッシングという新規フレームワークを提案する。この手法は92.3%の認識精度を達成し、ベースラインのテキストンブースティング法やヒストグラム法を上回る性能を示した。

ABSTRACT

We introduce a novel method for using reflectance to identify materials. Reflectance offers a unique signature of the material but is challenging to measure and use for recognizing materials due to its high-dimensionality. In this work, one-shot reflectance is captured using a unique optical camera measuring {\it reflectance disks} where the pixel coordinates correspond to surface viewing angles. The reflectance has class-specific stucture and angular gradients computed in this reflectance space reveal the material class. These reflectance disks encode discriminative information for efficient and accurate material recognition. We introduce a framework called reflectance hashing that models the reflectance disks with dictionary learning and binary hashing. We demonstrate the effectiveness of reflectance hashing for material recognition with a number of real-world materials.

研究の動機と目的

• 1回の撮影で材料の全反射関数を捉える新規な光学的カメラ設計を用いた、高速で迅速な手法の開発。
• 反射率データの高次元性に起因する課題を、コンactなバイナリーハッシュコードに符号化することで解決する。
• 最小限の学習データを用いても正確で効率的な材料認識を実現し、リアルタイムおよび埋め込み型アプリケーションへの対応を可能にする。
• 従来のテキストンベースの手法と比較し、最適なパフォーマンスを発揮するバイナリーエンコーディング手法の評価。

提案手法

• パラボリックミラーを用いたカメラが、各表面点ごとに1枚の反射率ディスクを捉え、視野角をピクセル座標にマッピングすることで、高密度な角度サンプリングを実現する。
• 反射率ディスクは、ガウス、ラプラシアン、方向性勾配などのフィルターバンクを用いて処理され、局所的なテクスチャ特徴が抽出される。
• フィルタ応答をクラスタリングしてテキストンを形成し、反射空間上でランダムなサブウィンドウを用いて空間特徴を抽出する。
• 特徴ベクトルをコンパクトなバイナリーコードに圧縮するため、反復的量子化（ITQ）を用いたバイナリーハッシングを適用する。
• ハミング距離に基づく最近傍探索を用いて、バイナリーコード上で最近傍分類法による材料認識を実行する。
• 評価には、20種類の材料クラスにまたがる3,600枚の反射率ディスクを含む公開データベースを用いる。

実験結果

リサーチクエスチョン

• RQ1 1回の撮影で、材料の全反射関数を、材料認識に十分な角度分解能で捉えることが可能か？
• RQ2 バイナリーハッシングは、材料分類に必要な識別力を保持しつつ、反射率データの次元をどれほど低減できるか？
• RQ3 特に少数の学習データを用いた場合に、反射率ハッシングは従来のテキストンベースの手法（ブースティングやヒストグラム分類）を上回る性能を示すか？
• RQ4 バイナリーエンコーディング手法（例：ITQ、CBE、BITQ）の中で、反射率に基づく材料認識に最も高い認識精度をもたらすのはどれか？

主な発見

• 反射率ハッシングは、たった360枚の学習画像で92.3%の認識精度を達成し、ジョイントブースティング（84.38%）やテキストンヒストグラム（41.94%）を著しく上回った。
• 少数の学習データでも高い性能を維持でき、オンライン学習や埋め込み型学習に適したロバストネスを示した。
• 反復的量子化（ITQ）が最良のバイナリーコード表現を生み出し、128〜256ビットで約90%の認識精度を達成した。
• 反射率ディスク表現は、パールの羽根のサンプルを用いて、イリデッセンスなどの複雑な材料特性を捉えられることを実証した。
• 20種類の多様な材料クラスにまたがる3,600枚の反射率ディスクを含むデータベースを公開し、今後の研究を支援する。
• バイナリーハッシングにより、ハミング距離を用いた効率的な最近傍探索が可能となり、リアルタイム応用に実用的であることが示された。