[論文レビュー] Deep Learning the City : Quantifying Urban Perception At A Global Scale

Abhimanyu Dubey, Nikhil Naik+3 more|arXiv (Cornell University)|Aug 5, 2016

Human Mobility and Location-Based Analysis参考文献 41被引用数 51

ひとこと要約

本論文は、56か国の都市から収集した110,988枚のストリートレベル画像を対象に、117万件のペアワイズ比較を含む「Place Pulse 2.0」データセットを紹介するとともに、安全、美しさ、にぎわいなどの都市的属性の人間の認識を予測するシアンズ型畳み込みニューラルネットワーク（RSS-CNN）アーキテクチャを提案する。このモデルは多様なグローバル都市に一般化可能であり、グローバルスケールでのスケーラブルかつ自動化された都市的認識分析を可能にする。

ABSTRACT

Computer vision methods that quantify the perception of urban environment are increasingly being used to study the relationship between a city's physical appearance and the behavior and health of its residents. Yet, the throughput of current methods is too limited to quantify the perception of cities across the world. To tackle this challenge, we introduce a new crowdsourced dataset containing 110,988 images from 56 cities, and 1,170,000 pairwise comparisons provided by 81,630 online volunteers along six perceptual attributes: safe, lively, boring, wealthy, depressing, and beautiful. Using this data, we train a Siamese-like convolutional neural architecture, which learns from a joint classification and ranking loss, to predict human judgments of pairwise image comparisons. Our results show that crowdsourcing combined with neural networks can produce urban perception data at the global scale.

研究の動機と目的

• 多様なグローバル都市における大規模かつ定量的な都市的認識データの不足に対処すること。
• 従来の方法が密集した人間によるラベル付けに依存しており、地域的範囲を超えてスケーラブルでないという限界を克服すること。
• 建築的・都市計画スタイルの異なる都市間で一般化可能なディープラーニングモデルを開発すること。
• ペアワイズ比較とディープニューラルネットワークのみを用いて、自動的かつ大規模な都市的認識監査を可能にすること。
• グローバルスケールで都市外観が行動、健康、格差に与える影響を研究する基盤を構築すること。

提案手法

• 6つの知覚的属性（安全、にぎわい、退屈、裕福、うつ屈、美しさ）について、56都市の110,988枚のストリートレベル画像に対して、81,630人のボランティアから117万件のペアワイズ比較をクラウドソーシングする。
• 2枚のストリートレベル画像を入力とし、特定の属性についてどちらが好まれるかを予測する、シアンズ型の畳み込みニューラルネットワーク（RSS-CNN）を構築する。
• 分類（勝利／敗北）とランク付け（TrueSkillベース）の目的関数を組み合わせた共同損失関数を用いてモデルを訓練する。
• 訓練済みのRSS-CNNを用いて、トレーニングセットに含まれない新しい都市の画像1枚あたり30件の合成ペアワイズ比較を生成する。
• 合成比較にTrueSkillアルゴリズムを適用し、都市的属性の安定した順位付けされた認識スコアを導出する。
• 事前学習済みのVGGNetからの特徴抽出とトランスファー学習を活用し、多様な都市環境における一般化を向上させる。

実験結果

リサーチクエスチョン

• RQ1 グローバル規模でスパarsely収集されたペアワイズ都市的認識判断のデータセットで訓練されたディープラーニングモデルは、建築的・文化的特性が異なる都市間で一般化可能か？
• RQ2 ニューラルネットワークが生成する合成ペアワイズ比較は、未学習の都市における都市的属性の人間の認識をどれほど正確に予測できるか？
• RQ3 安全、美しさ、にぎわいといった知覚的属性は、異なる都市環境においてどれほど相関しているか、あるいは直交的か？
• RQ4 限定的な都市のセットで訓練されたディープラーニングモデルは、地理的・文化的に異なる都市における都市的認識を正確に予測できるか？
• RQ5 グローバルスケールで都市的認識監査を自動化するためにディープラーニングを用いる際のスケーラビリティと信頼性はいかほどか？

主な発見

• RSS-CNNモデルは、予測された美しさと人間によるアノテーションとの間に高い相関（R² = 0.83）を示し、強力な予測能力を示している。
• モデルはトレーニングセットに含まれない都市、例えばバンクーバー、ブエノスアイレス、ソウルに対しても効果的に一般化しており、視覚的直感と整合する認識スコアを生成している。
• 知覚的属性同士に中程度から高い相関（例：安全対にぎわいのR² = 0.80）が認められ、属性間で共通の視覚的キューが存在することが示唆されている。
• モデルは1枚の画像あたり30件の合成ペアワイズ比較を効果的に生成でき、都市外観の順位付けに安定したTrueSkillスコアを導出するのに成功している。
• 失敗事例から、モデルのバイアスが明らかになった。例えば、森林に囲まれた高速道路の画像では安全度を過剰に評価したり、曇りの画像を非常に退屈だと誤って分類する傾向がある。
• データセットには13.2％の等価認識比較が含まれており、現在のモデルが無視している非自明な割合の曖昧な判断が存在することが示唆されている。