[論文レビュー] ZenSVI: An Open-Source Software for the Integrated Acquisition, Processing and Analysis of Street View Imagery Towards Scalable Urban Science

Koichi Ito, Yihan Zhu+10 more|arXiv (Cornell University)|Dec 24, 2024

Impact of Light on Environment and HealthEnvironmental Science被引用数 3

ひとこと要約

ZenSVI は、エンドツーエンドのストリートビューイメージリーリング（SVI）取得、処理、分析を統合するオープンソースの Python パッケージであり、スケーラブルで再現可能な都市科学研究を可能にする。マルチプラットフォームのデータ収集、コンピュータビジョンによる特徴抽出、画像変換、可視化をサポートし、高度なプログラミングスキルがなくても研究者が利用しやすい技術的障壁を著しく低減する。

ABSTRACT

Street view imagery (SVI) has been instrumental in many studies in the past decade to understand and characterize street features and the built environment. Researchers across a variety of domains, such as transportation, health, architecture, human perception, and infrastructure have employed different methods to analyze SVI. However, these applications and image-processing procedures have not been standardized, and solutions have been implemented in isolation, often making it difficult for others to reproduce existing work and carry out new research. Using SVI for research requires multiple technical steps: accessing APIs for scalable data collection, preprocessing images to standardize formats, implementing computer vision models for feature extraction, and conducting spatial analysis. These technical requirements create barriers for researchers in urban studies, particularly those without extensive programming experience. We developed ZenSVI, a free and open-source Python package that integrates and implements the entire process of SVI analysis, supporting a wide range of use cases. Its end-to-end pipeline includes downloading SVI from multiple platforms (e.g., Mapillary and KartaView) efficiently, analyzing metadata of SVI, applying computer vision models to extract target features, transforming SVI into different projections (e.g., fish-eye and perspective) and different formats (e.g., depth map and point cloud), visualizing analyses with maps and plots, and exporting outputs to other software tools. We demonstrated its use in Singapore through a case study of data quality assessment and clustering analysis in a streamlined manner. Our software improves the transparency, reproducibility, and scalability of research relying on SVI and supports researchers in conducting urban analyses efficiently. Its modular design facilitates extensions of the package for new use cases.

研究の動機と目的

• 都市研究におけるストリートビューイメージ（SVI）分析のための標準化、再現可能でスケーラブルなソフトウェアの不足に対処すること。
• 特に高度なプログラミング経験のない研究者にとっての技術的障壁を低減すること。
• データ取得から出力エクスポートまで、SVI分析パイプライン全体をカバーする統合的でモジュラーかつ拡張可能なプラットフォームを提供すること。
• ワークフローの標準化と FAIR データ原則の支援により、都市アナリティクスにおける透明性と再現可能性を高めること。
• 安全の認識、緑地性、歩行性といった複雑な都市分析を、簡素化され、文書化されたツールを通じて可能にすること。

提案手法

• Mapillary や KartaView などの複数の SVI プラットフォームの API を統合し、スケーラブルで効率的なデータ取得を実現する。
• メタデータ分析、画像前処理、および異なる投影法（例：魚眼、透視図法）や形式（例：深度マップ、点群）への変換をサポートする。
• グリーンネス、開放感、建物の特徴など、自動化された特徴抽出のための事前学習済みコンピュータビジョンモデルを採用する。
• 画像変換（例：transform_images）やスコア計算（例：calculate_score）のための関数を提供し、都市指標を導出する。
• 統計解析や地理情報可視化のための外部ツール（R や QGIS など）とのシームレスな統合を可能にする。
• 将来的な拡張（例：生成AI、マルチモーダル分析）を想定したモジュラーかつ拡張可能なアーキテクチャを特徴とする。

実験結果

リサーチクエスチョン

• RQ1 統合的でオープンソースのソフトウェアプラットフォームは、都市科学におけるエンドツーエンドの SVI 分析をどのように簡素化できるか？
• RQ2 ZenSVI は、都市データ分析において高度なプログラミングスキルを持たない研究者にとって、技術的障壁をどの程度低減できるか？
• RQ3 ZenSVI は、データ品質の評価やクラスタリングなどの多様なユースケースにおいて、再現可能でスケーラブルな都市アナリティクスをどの程度効果的に支援できるか？
• RQ4 ZenSVI は、標準化されたワークフローと FAIR データ原則を通じて、都市研究における透明性と相互運用性をどのように向上させるか？
• RQ5 テキストから画像を生成する技術やマルチモーダル地理空間データ分析をサポートするための ZenSVI の将来の拡張可能性は何か？

主な発見

• ZenSVI は最小限のコードでエンドツーエンドの SVI 分析を可能にし、ユーザーが一度の統合ワークフローでストリートレベルの画像をダウンロード・処理・分析できる。
• Mapillary や KartaView からのマルチプラットフォームデータ収集をサポートしており、データのアクセス性とスケーラビリティが向上する。
• シンガポールでの事例研究を通じて、グリーンネスと開放感の指標を用いた、効果的なデータ品質評価とクラスタリング分析が実証された。
• ZenSVI のモジュラー設計により拡張性が確保され、R や QGIS などの外部ツールとの統合が可能となり、高度な統計的・地理空間的分析が可能になる。
• ワークフローの標準化と包括的なドキュメンテーション、ソースコードのオープンアクセスにより、研究の再現性が向上する。
• 今後の開発計画には、生成AI、マルチモーダルデータ（例：衛星画像、航空写真、CCTV）のサポート、および SVI 衍生指標のグローバルオープンデータセットの整備が含まれる。