[論文レビュー] Scene Classification in Indoor Environments for Robots using Context Based Word Embeddings

Bao Xin Chen, Raghavender Sahdev+4 more|arXiv (Cornell University)|Aug 18, 2019

Advanced Image and Video Retrieval Techniques被引用数 15

ひとこと要約

本稿では、CNNを用いたシーン認識と検出された物体の単語埋め込みを組み合わせることで、予測を精緻化する文脈に配慮した屋内ロボティクス向けシーン分類手法を提案する。GPSを用いた分類階層に基づくプルーニングと、ベクトル空間における物体・文脈類似度を用いたトップ5のCNN予測の精緻化により、独自に収集した実世界データセット上で92.25%のトップ1正答率を達成し、ベースラインのResNet50モデルを著しく上回った。

ABSTRACT

Scene Classification has been addressed with numerous techniques in computer vision literature. However, with the increasing number of scene classes in datasets in the field, it has become difficult to achieve high accuracy in the context of robotics. In this paper, we implement an approach which combines traditional deep learning techniques with natural language processing methods to generate a word embedding based Scene Classification algorithm. We use the key idea that context (objects in the scene) of an image should be representative of the scene label meaning a group of objects could assist to predict the scene class. Objects present in the scene are represented by vectors and the images are re-classified based on the objects present in the scene to refine the initial classification by a Convolutional Neural Network (CNN). In our approach we address indoor Scene Classification task using a model trained with a reduced pre-processed version of the Places365 dataset and an empirical analysis is done on a real-world dataset that we built by capturing image sequences using a GoPro camera. We also report results obtained on a subset of the Places365 dataset using our approach and additionally show a deployment of our approach on a robot operating in a real-world environment.

研究の動機と目的

• ナビゲーションやタスク実行に不可欠な屋内ロボティクス環境におけるシーン分類の精度を向上させること。
• ラベルの不一致やトップ1正答率の低さ（約56%）に起因する、Places365などの既存データセットの限界を是正し、実世界のロボット展開に不適切である問題に対処すること。
• 粗いGPS位置に基づく階層的分類階層を用いて不要なシーンクラスをプルーニングすることで、計算複雑性を低減し、推論速度を向上させること。
• 学習された単語埋め込みを用いて物体レベルの文脈を統合することで、物体とシーンカテゴリ間の意味的関係を捉え、CNNベースのシーン分類を向上させること。
• 新規に収集した高品質な実世界データセットを用いて手法を検証し、物理的ロボット上でリアルタイムでの展開を実証すること。

提案手法

• 本手法は二本のCNNアーキテクチャを用いる：一つは初期のシーン分類（トップ5の予測）を、もう一つは前景・背景の物体を検出するシーンパースングを担当する。
• 検出された物体は、物体-シーンの共起データに基づいて訓練されたword2vecスタイルのモデルを用いて連続的ベクトル空間に埋め込まれ、意味的類似度を反映した物体およびシーンのベクトル表現が生成される。
• 画像の物体文脈のベクトル表現とトップ5の予測されたシーンラベルのベクトル表現との間でコサイン類似度スコアを計算し、順位付けを精緻化する。
• 最終的な予測は、CNNの信頼度スコアと単語埋め込み類似度スコアを乗算し、再順位付けすることで得られ、精度が向上する。
• 8つの屋内環境（例：学校、家庭、ショッピングモール）からなる分類階層を用いて、GPSで得られる粗い位置情報に基づき検索空間をプルーニングし、候補シーンの数を削減する。
• 本システムは、ZEDカメラとGTX 1060 GPUを搭載したPioneer3ATロボットにデプロイされ、モノクローラルRGB画像を用いてリアルタイム推論が可能である。

実験結果

リサーチクエスチョン

• RQ1 屋内ロボティクス環境において、文脈に配慮した物体埋め込みは、標準的なCNNを上回るシーン分類精度を実現できるか？
• RQ2 分類階層に基づくプルーニング戦略は、候補シーンクラスの数を削減し、推論効率を向上させるのにどの程度有効か？
• RQ3 物体-シーンの共起データに基づいて訓練された単語埋め込みモデルは、意味的文脈を捉えることでCNNの予測を効果的に精緻化できるか？
• RQ4 本手法は、標準データセットおよび実世界データセットにおいて、ベースラインCNNモデルと比較してどの程度優れているか？
• RQ5 トレーニングデータの品質（例：ラベルの一貫性）は、最終的な分類精度にどの程度影響を及えるか？

主な発見

• 提案手法は、著者らが独自に収集した実世界テストデータセットで92.25%のトップ1正答率を達成し、ベースラインのResNet50モデル（同じセットで90.33%）を著しく上回った。
• 縮小されたPlaces365検証セットでは、74.28%のトップ1正答率を達成し、ResNet50ベースライン（73.82%）をわずかに上回った。
• 単語埋め込みによる精緻化ステップにより、独自データセットにおける正答率がベースラインのResNet50と比較して1.92%向上した。これは、文脈的な物体情報の価値を示している。
• 住宅および学校環境において優れた性能を示し（それぞれ93.27%および92.25%のトップ1正答率）、多様な屋内シーンにわたる頑健性を示した。
• 全体的な向上は見られたが、店舗環境では、検出モデルが特徴的な物体（例：靴、時計）を適切に検出できなかったため、精緻化の効果が限定的であった。
• Pioneer3ATロボット上での実世界でのデプロイにより、リアルタイム推論の実現可能性が確認され、大学環境でのシーン分類が正常に実行された。