[論文レビュー] Can we cover navigational perception needs of the visually impaired by panoptic segmentation?

Wei Mao, Jiaming Zhang+2 more|arXiv (Cornell University)|Jul 20, 2020

Tactile and Sensory Interactions参考文献 31被引用数 7

ひとこと要約

本論文では、パノプティックセグメンテーションを用いて、視覚障害者がリアルタイムで「もの」（例：歩行者、車両）と「素材」（例：道路、歩道）の両方を同時に認識することで、統合的かつ包括的なシーン認識を提供するウェアラブル補助システムを提案する。このシステムは1つのディープラーニングモデルを活用し、包括的かつピクセル単位の意味的理解とインスタンス認識を実現し、従来のセグメンテーション手法をはるかに超えて、ナビゲーションの安全性と環境認識を著しく向上させる。

ABSTRACT

Navigational perception for visually impaired people has been substantially promoted by both classic and deep learning based segmentation methods. In classic visual recognition methods, the segmentation models are mostly object-dependent, which means a specific algorithm has to be devised for the object of interest. In contrast, deep learning based models such as instance segmentation and semantic segmentation allow to individually recognize part of the entire scene, namely things or stuff, for blind individuals. However, both of them can not provide a holistic understanding of the surroundings for the visually impaired. Panoptic segmentation is a newly proposed visual model with the aim of unifying semantic segmentation and instance segmentation. Motivated by that, we propose to utilize panoptic segmentation as an approach to navigating visually impaired people by offering both things and stuff awareness in the proximity of the visually impaired. We demonstrate that panoptic segmentation is able to equip the visually impaired with a holistic real-world scene perception through a wearable assistive system.

研究の動機と目的

• 視覚障害者向けの既存の補助システムが、しばしばオブジェクトに特化したモデルに依存していることや、背景の理解が欠けていることによる環境認識の制限を是正すること。
• 数えられるオブジェクト（「もの」）と不定形な領域（「素材」）の両方を、一貫性のあるフレームワークで統合的に認識することで、シーン認識を向上させること。
• パノプティックセグメンテーションが、包括的かつピクセル単位のシーン理解を通じて、ナビゲーション認識のニーズを包括的に満たすかどうかを評価すること。
• パノプティックセグメンテーションとRGB-Dセンシングを統合したウェアラブル補助システムを開発・検証し、リアルタイムで3次元認識に対応したナビゲーション支援を提供すること。

提案手法

• 本システムは、各ピクセルにクラスラベルとインスタンスIDを割り当てるディープラーニングベースのパノプティックセグメンテーションモデルを採用し、『もの』と『素材』の両方を統合的に理解できるようにしている。
• ウェアラブルなRGB-Dカメラが、視覚障害者の第一人称視点からリアルタイムの視覚的および深度データを取得する。
• パノプティックセグメンテーションの出力を処理し、オブジェクトのカテゴリーや空間的距離といった意味的およびインスタンス固有の情報を抽出する。
• システムはセグメンテーションの結果を音声ケーブル（例：音声による説明）に変換し、ユーザーにオブジェクトの種別、位置、空間的関係を伝える。
• フレームワークは、歩道、橋、円形交差点などを含む多様な都市環境でのナビゲーション中に記録された実世界のシーケンスを用いて評価されている。
• 深度データの統合により、3次元シーン理解が向上し、ナビゲーションの安全性に不可欠な距離推定が可能になる。

実験結果

リサーチクエスチョン

• RQ1 パノプティックセグメンテーションは、視覚障害者が実世界のシーンにおいて『もの』と『素材』の両方を統合的かつ包括的に認識できるか？
• RQ2 視覚障害者のナビゲーション認識を支援する観点で、パノプティックセグメンテーションは意味的セグメンテーションとインスタンスセグメンテーションと比べてどのように異なるか？
• RQ3 ウェアラブルなパノプティックセグメンテーションシステムは、多様な都市ナビゲーションシナリオにおいて、どれほど頑健で正確に機能するか？
• RQ4 音声フィードバックを通じて、オブジェクトの識別と空間的文脈を効果的に伝えることができるか？

主な発見

• パノプティックセグメンテーションは意味的セグメンテーションとインスタンスセグメンテーションを統合し、1つの出力でクラスレベルとインスタンスレベルの理解を両立させることに成功し、従来の手法の制限を克服した。
• 本システムは、円形交差点やバスステーションを含む多様な都市環境においても、道路、歩道、車両、歩行者といった重要なナビゲーション要因を高い精度でセグメンテーションしている。
• 可視化結果から、複数の車両などの明確なオブジェクトと、歩道や道路のような連続的な領域が、照明の変化や隠蔽状態の下でも正しく同定されていることが示された。
• RGB-Dカメラからの深度データの統合により、距離推定が可能になり、空間認識が向上し、安全なナビゲーションに不可欠な要因となった。
• 本システムは、実世界のナビゲーションシーケンスにおいても、動的なシーンにおいて一貫性があり信頼性の高いパノプティック予測を示した。
• 結果から、パノプティックセグメンテーションが、視覚障害者に包括的かつリアルタイムの環境認識を提供するための実用的で効果的なアプローチであることが確認された。