[論文レビュー] Deep Thermal Imaging: Proximate Material Type Recognition in the Wild through Deep Learning of Spatial Surface Temperature Patterns

Youngjun Cho, Nadia Bianchi‐Berthouze+2 more|arXiv (Cornell University)|Mar 6, 2018

Thermography and Photoacoustic Techniques参考文献 34被引用数 3

ひとこと要約

本論文では、スマートフォン統合型赤外線カメラと深層ニューラルネットワークを用いて、屋内および屋外の現実世界環境において、空間的表面温度パターンから32種類の素材を認識する「Deep Thermal Imaging」を提案する。この手法は、環境光や接触を必要とせず、屋内素材では98％を超える精度を達成し、屋外素材でも89％を超える精度を示し、赤外線テクスチャのエンドツーエンド深層学習により、リアルタイムHCIアプリケーションへの応用可能性と頑健性を示している。

ABSTRACT

We introduce Deep Thermal Imaging, a new approach for close-range automatic recognition of materials to enhance the understanding of people and ubiquitous technologies of their proximal environment. Our approach uses a low-cost mobile thermal camera integrated into a smartphone to capture thermal textures. A deep neural network classifies these textures into material types. This approach works effectively without the need for ambient light sources or direct contact with materials. Furthermore, the use of a deep learning network removes the need to handcraft the set of features for different materials. We evaluated the performance of the system by training it to recognise 32 material types in both indoor and outdoor environments. Our approach produced recognition accuracies above 98% in 14,860 images of 15 indoor materials and above 89% in 26,584 images of 17 outdoor materials. We conclude by discussing its potentials for real-time use in HCI applications and future directions.

研究の動機と目的

• スマートフォン統合型赤外線カメラを用いて、現実世界の環境で近接する素材の自動的かつ接触なしの認識を可能にすること。
• 可視光に依存するか、手作業による特徴抽出に依存する従来手法の制限を克服すること。
• 低コストのモバイル赤外線センサが捉えた空間的表面温度パターンを用いて、頑健でリアルタイムな素材認識システムを構築すること。
• 多様な屋内および屋外条件下で、多数の一般的な素材を対象に性能を評価すること。
• 手作業による特徴設計なしに、エンドツーエンドの赤外線テクスチャ分類に深層学習を適用する可能性を実証すること。

提案手法

• 低コストのモバイル赤外線カメラをスマートフォンに統合し、近接する素材の空間的表面温度パターンを捉える。
• 屋内および屋外環境で、32種類の素材について15,000枚以上の赤外線画像を収集する。
• 深層畳み込みニューラルネットワーク（CNN）をエンドツーエンドで訓練し、赤外線テクスチャを素材カテゴリに分類する。これにより、手作業による特徴抽出の必要がなくなる。
• ネットワークは、生の赤外線画像データから直接、温度分布における判別可能な空間的パターンを学習する。
• 一般化性能を向上させるために、データ拡張および正規化技術を適用する。
• 屋内および屋外の素材認識タスクの別々のテストセットを用いて、モデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 モバイル赤外線カメラが捉えた空間的表面温度パターンに基づいて、深層学習が素材の分類を効果的に行えるか？
• RQ2 環境光や熱的条件が変動する現実世界の制御不能な環境でも、システムの性能はどの程度維持されるか？
• RQ3 手作業による特徴設計なしに、深層ニューラルネットワークが多様な屋内および屋外素材にどの程度一般化できるか？
• RQ4 低コストの赤外線イメージングを用いて、屋内および屋外の両環境でどの程度の精度が達成できるか？
• RQ5 実用的なヒューマンコンピュータインタラクション（HCI）アプリケーション向けに、リアルタイムの素材認識をサポートできるか？

主な発見

• 14,860枚の屋内画像（15種類の素材）において、認識精度が98％を超えた。
• 26,584枚の屋外画像（17種類の素材）において、厳しい環境条件下でも精度が89％を超えた。
• 深層学習アプローチにより、手作業による特徴設計の必要がなく、生の赤外線テクスチャからのエンドツーエンド学習が可能になった。
• 環境光や素材への物理的接触に依存しない、現実世界での頑健な性能を示した。
• 結果から、ヒューマンコンピュータインタラクションアプリケーションへのリアルタイム導入の可能性が強く示唆された。
• 多様な素材および環境変動に対しても良好な一般化性能を示し、実用的実現可能性が顕著に浮き彫りになった。