[論文レビュー] A machine learning method for the large-scale evaluation of urban visual environment

Lun Liu, Wang Hui+1 more|arXiv (Cornell University)|Aug 11, 2016

Impact of Light on Environment and Health参考文献 26被引用数 9

ひとこと要約

本論文は、街路画角画像とディープラーニングを活用した機械学習手法を提案し、外壁の視覚的質と街路壁の連続性に焦点を当てて、大規模に都市の視覚的質を自動評価することを目的としている。752名の通りがかりの人の評価と高い相関（r = 0.78）を示し、大規模な都市計画・設計への応用における強い可能性を示している。

ABSTRACT

Given the size of modern cities in the urbanising age, it is beyond the perceptual capacity of most people to develop a good knowledge about the beauty and ugliness of the city at every street corner. Correspondingly, for planners, it is also difficult to accurately answer questions like 'where are the worst-looking places in the city that regeneration should give first consideration', or 'in the fast urbanising cities, how is the city appearance changing', etc. To address this issue, we here present a computer vision method for the large-scale and automatic evaluation of the urban visual environment, by leveraging state-of-the-art machine learning techniques and the wide-coverage street view images. From the various factors that are at work, we choose two key features, the visual quality of street facade and the continuity of street wall, as the starting point of this line of analysis. In order to test the validity of this method, we further compare the machine ratings with ratings collected on site from 752 passers-by on fifty-six locations. We show that the machine learning model can produce a good estimation of people's real visual experience, and it holds much potential for various tasks in terms of urban design evaluation, culture identification, etc.

研究の動機と目的

• 急速に都市化が進む大規模都市において、都市の視覚的質を手作業で評価する課題に対処すること。
• コンピュータビジョンと機械学習を用いて、自動的かつスケーラブルな都市の美的評価手法を開発すること。
• 特に外壁の質と街路壁の連続性といった、都市の外観に顕著に影響を与える視覚的特徴を同定すること。
• 多様な都市環境における現地での人間の知覚的評価と照らし合わせて、モデルの正確性を検証すること。
• 再生計画や文化的アイデンティティ分析のための、大規模でデータドリブンな都市計画評価を可能にすること。

提案手法

• 大規模な街路画角画像データセットで訓練された深層畳み込みニューラルネットワーク（CNN）を用いて、視覚的質スコアを予測する。
• 2つの主要な視覚的特徴を抽出する：外壁の視覚的質（テクスチャ、色、建築的調和に基づく）と街路壁の連続性（街路線に沿った視覚的一致性を測定）。
• 都市風景におけるローカルおよびグローバルな視覚パターンを捉えるために、マルチスケール特徴抽出戦略を適用する。
• ImageNetで事前学習されたモデルからの転移学習を活用して、都市の視覚的質分類における性能を向上させる。
• 56か所の都市で得られた752名の通りがかりの人のアノテーション付き評価を用いて、モデルの予測を監視および検証する。
• 最終的なモデルは、外壁の質と連続性の両方を反映した複合視覚的質スコアを出力し、大規模な都市評価を可能にする。

実験結果

リサーチクエスチョン

• RQ1 街路画角画像を用いた機械学習モデルは、大規模に人間の都市の視覚的質への認識を正確に予測できるか？
• RQ2 外壁の視覚的質と街路壁の連続性は、全体的な都市の美的認識にどのように寄与するか？
• RQ3 モデルの予測は、現地で収集された実際の人間の評価とどの程度相関するか？
• RQ4 モデルは、大規模な都市地域において視覚的劣化や改善の空間的パターンを特定できるか？
• RQ5 この手法は、都市再生計画および文化的アイデンティティマッピングの分野で実用的か？

主な発見

• 機械学習モデルは、752名の通りがかりの人の評価と相関係数 r = 0.78 を達成し、人間の視覚的認識と強い一致を示した。
• モデルは都市における視覚的に魅力的でない地域を効果的に同定でき、標的型の都市再生計画を可能にした。
• 外壁の視覚的質と街路壁の連続性は、全体的な都市の視覚的質を決定づける上で最も影響力のある特徴であった。
• 本手法は、発展途上都市を含む多様な都市環境で、強固な性能を示した。
• モデルの予測は一貫性がありスケーラブルであり、既存の街路画角データを用いて、メトロポリタン地域全体の大規模な評価が可能になった。
• 結果から、機械学習は都市計画研究や政策立案における手作業による視覚的評価の信頼性が高く、費用対効果に優れた代替手段である可能性が示唆された。