[論文レビュー] Indoor Space Recognition using Deep Convolutional Neural Network: A Case Study at MIT Campus

Fan Zhang, Fábio Duarte+4 more|arXiv (Cornell University)|Oct 7, 2016

Video Surveillance and Tracking Methods参考文献 18被引用数 15

ひとこと要約

本論文では、MITキャンパスの建物から収集された60万枚を超える画像を用いて学習された、単一のスマートフォン画像を用いた屋内空間認識のための深層畳み込みニューラルネットワーク（DCNN）アプローチを提案する。空間スケールを固定したモデルを用いた場合、テスト精度は81.7%に達し、判別的視覚的特徴を解釈するためにクラス活性マッピング（CAM）を用いている。これにより、空間認識と空間設計に関する洞察が得られる。

ABSTRACT

In this paper, we propose a robust and parsimonious approach using Deep Convolutional Neural Network (DCNN) to recognize and interpret interior space. DCNN has achieved incredible success in object and scene recognition. In this study we design and train a DCNN to classify a pre-zoning indoor space, and from a single phone photo to recognize the learned space features, with no need of additional assistive technology. We collect more than 600,000 images inside MIT campus buildings to train our DCNN model, and achieved 97.9% accuracy in validation dataset and 81.7% accuracy in test dataset based on spatial-scale fixed model. Furthermore, the recognition accuracy and spatial resolution can be potentially improved through multiscale classification model. We identify the discriminative image regions through Class Activating Mapping (CAM) technique, to observe the model's behavior in how to recognize space and interpret it in an abstract way. By evaluating the results with misclassification matrix, we investigate the visual spatial feature of interior space by looking into its visual similarity and visual distinctiveness, giving insights into interior design and human indoor perception and wayfinding research. The contribution of this paper is threefold. First, we propose a robust and parsimonious approach for indoor navigation using DCNN. Second, we demonstrate that DCNN also has a potential capability in space feature learning and recognition, even under severe appearance changes. Third, we introduce a DCNN based approach to look into the visual similarity and visual distinctiveness of interior space.

研究の動機と目的

• 外部センサーや追加ハードウェアを一切使用せず、スマートフォンの画像のみを用いて、耐障害性が高く低コストな屋内空間認識システムを開発すること。
• 外観の変動が著しい状況下でも、深層学習が複雑な屋内空間的特徴を効果的に学習・分類できるかどうかを調査すること。
• 深層学習の解釈性技術を用いて、インテリア環境における視覚的空間的類似性と特徴の明確さを分析すること。
• コンピュータビジョンを用いた人間のナビゲーション行動やインテリアデザイン認識のデータ駆動型アプローチを提供すること。

提案手法

• 60万枚を超える屋内画像の大型データセットを用いて、大規模なMITキャンパスの建物から収集した画像を用いて、深層畳み込みニューラルネットワーク（DCNN）を学習する。
• 分類に空間スケールを固定したアーキテクチャを採用することで、追加のハードウェアを必要とせず、単一のスマートフォン画像からの推論が可能になる。
• 分類のための判別的画像領域を可視化・解釈するために、クラス活性マッピング（CAM）を適用する。
• 認識精度と空間解像度の向上を目的として、マルチスケール分類モデルの検討も行う。
• 検証セット（97.9%の精度）と別個のテストセット（81.7%の精度）を用いてモデルを評価し、誤分類マトリクスを用いて視覚的類似性と特徴の明確さを分析する。
• 誤分類のパターンを分析することで、モデルの行動と人間の空間配置・デザイン認識との関連を明らかにする視覚的特徴分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 外部センサーやメタデータを一切使用せず、単一のスマートフォン画像のみを用いて、深層畳み込みニューラルネットワークが屋内空間を正確に認識できるか？
• RQ2 レイアウト、照明、装飾などの視覚的空間的特徴が、異なる屋内環境を区別するためのモデルの能力にどのように寄与するか？
• RQ3 屋内空間同士の視覚的類似性と特徴の明確さが、モデルの分類性能にどの程度影響を及えるか？
• RQ4 クラス活性マッピング（CAM）を用いることで、空間認識におけるモデルの意思決定プロセスをどのように解釈・検証できるか？
• RQ5 モデルの誤分類パターンから、人間の屋内環境認識に関するどのような洞察が得られるか？

主な発見

• 空間スケールを固定したモデルを用いた場合、DCNNは検証精度97.9%、テスト精度81.7%を達成し、未学習の屋内空間に対しても強力な一般化能力を示した。
• 外観の変動が著しい状況下でも、モデルは建築的レイアウト、家具、照明などの視覚的手がかりに基づいて空間を正しく認識することができた。
• クラス活性マッピング（CAM）により、モデルが分類意思決定に際して、ドアウェイ、ホール、特徴的な家具など意味的に重要な領域に注目していることが明らかになった。
• 誤分類分析の結果、外観が類似した空間（例：似たような通路やオフィス）が頻繁に混同されていたことから、視覚的類似性が認識性能に強く影響することが示された。
• 本研究では、深層学習が生の画像から抽象的な空間的表現を効果的に学習できることを示した。これにより、ナビゲーション支援やインテリアデザイン研究のための新たなツールが提供された。
• マルチスケール分類モデルを用いることで、精度と解像度の向上が期待できることを同定した。これにより、将来的なスケーラビリティと最適化の可能性が示された。