[논문 리뷰] Deep Learning the City : Quantifying Urban Perception At A Global Scale

Abhimanyu Dubey, Nikhil Naik외 3명|arXiv (Cornell University)|2016. 08. 05.

Human Mobility and Location-Based Analysis참고 문헌 41인용 수 51

한 줄 요약

이 논문은 56개의 글로벌 도시에서 수집한 110,988장의 스트리트 레벨 이미지에 대해 117만 개의 이원 비교를 포함하는 Place Pulse 2.0 데이터셋을 소개하며, 안전성, 아름다움, 활기성 등의 도시적 특성에 대한 인간의 인식을 예측하는 시아모닉 유사 컨볼루션 신경망 아키텍처(RSS-CNN)를 제안한다. 이 모델은 다양한 글로벌 도시 간에 일반화되며, 글로벌 스케일에서 대규모로 자동화된 도시 인식 분석을 가능하게 한다.

ABSTRACT

Computer vision methods that quantify the perception of urban environment are increasingly being used to study the relationship between a city's physical appearance and the behavior and health of its residents. Yet, the throughput of current methods is too limited to quantify the perception of cities across the world. To tackle this challenge, we introduce a new crowdsourced dataset containing 110,988 images from 56 cities, and 1,170,000 pairwise comparisons provided by 81,630 online volunteers along six perceptual attributes: safe, lively, boring, wealthy, depressing, and beautiful. Using this data, we train a Siamese-like convolutional neural architecture, which learns from a joint classification and ranking loss, to predict human judgments of pairwise image comparisons. Our results show that crowdsourcing combined with neural networks can produce urban perception data at the global scale.

연구 동기 및 목표

• 다양한 글로벌 도시에서 대규모로 정량화된 도시 인식 데이터의 부족을 해결하기 위해.
• 이전 방법들이 밀도 높은 인간 레이블링에 의존하고 지역 범위를 초월해 스케일업되지 못하는 한계를 극복하기 위해.
• 건축 및 도시 계획 스타일이 상이한 도시 간에 일반화할 수 있는 딥러닝 모델을 개발하기 위해.
• 이원 비교와 딥 네트워크만을 사용하여 자동화된 대규모 도시 인식 감사 작업을 가능하게 하기 위해.
• 글로벌 스케일에서 도시 외관이 행동, 건강 및 불평등에 미치는 영향을 연구하기 위한 기반을 마련하기 위해.

제안 방법

• 안전성, 활기성, 지루함, 부유함, 우울감, 아름다움의 6개의 인지적 특성에 대해, 6개 대륙의 56개 도시에서 81,630명의 자원자들이 117만 개의 이원 비교를 수행함.
• 두 장의 스트리트 레벨 이미지를 입력으로 받아 주어진 특성에 대해 어느 쪽이 선호되는지를 예측하는 시아모닉 유사 컨볼루션 신경망(RSS-CNN)을 구축함.
• 분류(승패)와 랭킹(TrueSkill 기반) 목적함수를 결합한 공동 손실 함수를 사용하여 모델을 훈련함.
• 훈련된 RSS-CNN을 활용해 훈련 세트에 포함되지 않은 도시의 이미지당 30개의 합성 이원 비교를 생성함.
• 합성 비교 결과에 TrueSkill 알고리즘을 적용하여 안정적이고 순서가 매겨진 도시 특성 인식 점수를 도출함.
• 사전 훈련된 VGGNet에서의 전이 학습과 특징 추출을 활용하여 다양한 도시 환경 간의 일반화 성능 향상

실험 결과

연구 질문

• RQ1 다양한 건축 및 문화적 특성을 지닌 도시 간에 일반화되는, 글로벌이고 희박한 이원 도시 인식 평가 데이터셋으로 훈련된 딥러닝 모델은 가능한가?
• RQ2 신경망이 생성한 합성 이원 비교가 새로운 도시의 인간 인식을 얼마나 정확히 예측할 수 있는가?
• RQ3 안전성, 아름다움, 활기성과 같은 인지적 특성이 다양한 도시 환경에서 얼마나 상관관계가 있거나 상호 수직적인가?
• RQ4 제한된 도시 수에서 훈련된 딥러닝 모델이 지리적·문화적으로 상이한 도시의 도시 인식을 정확히 예측할 수 있는가?
• RQ5 딥러닝을 활용한 글로벌 스케일의 자동화된 도시 인식 감사의 확장성과 신뢰성은 어느 정도인가?

주요 결과

• RSS-CNN 모델은 예측된 아름다움과 인간 레이블링된 인식 간에 높은 상관관계(R² = 0.83)를 보이며 강력한 예측 능력을 입증함.
• 훈련 세트에 포함되지 않은 도시, 예를 들어 밴쿠버, 부에노스 아이레스, 서울 등에도 효과적으로 일반화되어, 시각적 직관과 일치하는 인식 점수를 생성함.
• 인지적 특성 간 중간에서 높은 상관관계가 존재함(예: 안전성 대비 활기성의 경우 R² = 0.80), 이는 특성 간 공통의 시각적 신호가 있음을 시사함.
• 모델은 이미지당 30개의 합성 이원 비교를 성공적으로 생성하여, 도시 외관의 안정적인 TrueSkill 점수 도출을 가능하게 함.
• 실패 케이스 분석을 통해 모델의 편향을 확인함: 예를 들어 숲이 우거진 고속도로 이미지에서는 안전성에 과도하게 점수를 매기거나, 흐린 날씨 이미지를 매우 지루하다고 판단함.
• 데이터셋에 13.2%의 동일 인식 비교가 포함되어 있어, 현재 모델이 忽시하는 비중이 상당한 모호한 판단이 존재함을 시사함.