[論文レビュー] Towards Global-Scale Crowd+AI Techniques to Map and Assess Sidewalks for People with Disabilities

Maryam Hosseini, Michael Saugstad+4 more|arXiv (Cornell University)|Jun 28, 2022

Urban Transport and Accessibility被引用数 8

ひとこと要約

本稿では、衛星画像分析、階層的マルチスケールアテンションを用いた意味セグメンテーション、アクティブラーニングベースのストリートレベル画像の意味セグメンテーション、およびクラウドソーシングを活用したアクセシビリティラベル付けを統合した四段階のコモンズ＋AIパイプラインを提示する。このパイプラインにより、世界規模の歩道ネットワークのマッピング、分類、評価が可能となる。主な貢献は、スケーラブルでデータドリブンなフレームワークを提供し、大規模かつ高解像度の歩道マッピングとアクセシビリティ評価を可能にしたことである。ワシントンD.C.で70万件を超えるアクセシビリティ評価ラベルを用いて実証された。

ABSTRACT

There is a lack of data on the location, condition, and accessibility of sidewalks across the world, which not only impacts where and how people travel but also fundamentally limits interactive mapping tools and urban analytics. In this paper, we describe initial work in semi-automatically building a sidewalk network topology from satellite imagery using hierarchical multi-scale attention models, inferring surface materials from street-level images using active learning-based semantic segmentation, and assessing sidewalk condition and accessibility features using Crowd+AI. We close with a call to create a database of labeled satellite and streetscape scenes for sidewalks and sidewalk accessibility issues along with standardized benchmarks.

研究の動機と目的

• 歩道の位置、接続性、アクセシビリティ状態に関する信頼性が高く解像度の高いグローバルデータの不足を是正すること。
• コンピュータビジョンとクラウドソーシングを統合したスケーラブルで準自動化されたパイプラインを構築し、大規模な歩道マッピングと評価を実現すること。
• ベンチマークとモデルトレーニングのための、ラベル付きの歩道シーンおよびアクセシビリティ特徴を含む大規模オープンデータセットを構築すること。
• 歩道トポロジー、表面材、状態データを統合することで、アクセシビリティに配慮した歩行者ルーティングと都市アナリティクスを可能にすること。
• 多様な都市環境におけるAIベースの歩道評価におけるバイアスを特定し、是正すること。

提案手法

• HRNet-W48+OCRバックボーンを用いた階層的マルチスケールアテンションモデルを用い、正規化された航空写真に対して意味セグメンテーションを実行し、ピクセルを歩道、横断歩道、道路、背景に分類する。
• 段階2で、セグメンテーションされたラスタ出力を地理的に参照可能なポリゴンおよび中央線に変換し、トポロジカルな歩道ネットワークを構築する。
• アクティブラーニングベースの意味セグメンテーションをストリートレベル画像に適用し、アスファルト、レンガ、畝張り石など表面材を推定する。
• クラウドソーシングを活用し、ワシントンD.C.の地理的に位置指定されたアクセシビリティラベルを70万件以上収集・検証し、そのうち40万件をモデルトレーニングおよび評価に使用する。
• AIで推定された表面材データとクラウドソーシングによるアクセシビリティスコアを統合し、合成アクセシビリティ指標を算出し、可視化および分析に用いる。
• LIDAR深度、シーンの位置、地理的特徴を組み合わせた修正版ResNet-18モデルを用い、人為ラベル付けされたアクセシビリティデータの検証において最先端の性能を達成（AP: 81.3%, R: 77.2%）。

実験結果

リサーチクエスチョン

• RQ1 スケーラブルで準自動化されたパイプラインが、コンピュータビジョンとクラウドソーシングをどのように統合し、グローバルスケールでの歩道ネットワークマッピングを実現できるか。
• RQ2 ある都市でトレーニングされたAIモデルが、他の都市環境において歩道アクセシビリティ評価の分野でどの程度一般化可能か。
• RQ3 畝張り石やレンガといった表面材が歩道アクセシビリティにどのように影響を与えるか、そしてそれらを自動評価で信頼性高く検出・重み付けするにはどうすればよいか。
• RQ4 AIベースの歩道評価における主な失敗モードとバイアスは何か、そしてそれらをどのように特定・是正できるか。
• RQ5 ラベル付きの衛星画像およびストリートスケープ画像を統合した統一的で標準化されたベンチマークとオープンデータセットは、歩道アクセシビリティおよび都市インフォーマティクス分野の研究をどのように前進させるか。

主な発見

• パイプラインは、公式の歩行者ネットワークデータが存在しなかったワシントンD.C.において、7万3千枚の衛星画像タイルから70万件を超える歩道セグメントを抽出・地理的に位置指定した。
• 階層的マルチスケールアテンションモデルは、視認性の欠如や小さな視覚的フォルムがある状況下でも、歩道、歩行路、横断歩道のセグメンテーションにおいて高い正確性を達成した。
• アクティブラーニングベースの意味セグメンテーションにより、ストリートレベル画像からの表面材推定が効率的かつ正確に可能となり、畝張り石やレンガといった危険な表面材に対して高い重みが割り当てられた。
• 修正版ResNet-18モデルは、人為ラベル付けされたアクセシビリティデータの検証において最先端の性能を達成し、平均精度が81.3%、再現率が77.2%であった。
• パイプラインは都市間での一般化を示した。ワシントンD.C.のデータで事前トレーニングされたモデルが、ワシントン州シアトルおよびオレゴン州ニューベルグのアクセシビリティを効果的に評価できた。
• 著者らは、70万件を超える地理的に位置指定されたアクセシビリティラベルを収集・検証した。その規模と粒度の高さから、これまでに作成された中で最大かつ最も詳細なオープンな歩道アクセシビリティデータセットであると認識されている。