[논문 리뷰] Urban Visual Intelligence: Studying Cities with AI and Street-level Imagery

Fan Zhanga, Arianna Salazar Miranda외 7명|arXiv (Cornell University)|2023. 01. 02.

Urban Design and Spatial Analysis인용 수 5

한 줄 요약

이 논문은 도시의 물리적 환경과 사회경제적 요인 간의 상호작용을 체계적으로 분석하기 위해 스트리트 레벨 영상과 딥 러닝을 활용하는 개념적 프레임워크인 '유비컨 비전 인텔리전스(Urban Visual Intelligence)'를 소개한다. 인공지능 기반의 시각적 분석을 도시 이론과 융합함으로써, 이 접근법은 이전에는 달성하기 어려웠던 공간적·시간적 해상도에서 도시 형태, 인식, 인간 행동에 대한 확장 가능한 데이터 기반 통찰을 가능하게 한다.

ABSTRACT

The visual dimension of cities has been a fundamental subject in urban studies, since the pioneering work of scholars such as Sitte, Lynch, Arnheim, and Jacobs. Several decades later, big data and artificial intelligence (AI) are revolutionizing how people move, sense, and interact with cities. This paper reviews the literature on the appearance and function of cities to illustrate how visual information has been used to understand them. A conceptual framework, Urban Visual Intelligence, is introduced to systematically elaborate on how new image data sources and AI techniques are reshaping the way researchers perceive and measure cities, enabling the study of the physical environment and its interactions with socioeconomic environments at various scales. The paper argues that these new approaches enable researchers to revisit the classic urban theories and themes, and potentially help cities create environments that are more in line with human behaviors and aspirations in the digital age.

연구 동기 및 목표

• 시각 데이터를 활용한 도시 장소의 물리적 환경을 정량화하기 위한 표준화되고 체계적인 방법의 부족을 보완하기 위해.
• 이미지성, 사회적 혼란, 도시 미학과 같은 개념을 시각 지능을 통해 재평가함으로써 고전적 도시 이론을 현대 AI 및 빅데이터와 연결하기 위해.
• 지리적 태그가 부여된 스트리트 레벨 영상과 딥 러닝 기법을 활용하여 도시 환경의 확장 가능한 대규모 분석을 가능하게 하기 위해.
• 시각적 단서에서 양호한 이웃 특성, 안전성, 활기성에 대한 이해할 수 있고 실행 가능한 통찰을 도출함으로써 도시 계획 및 설계를 지원하기 위해.
• 학습된 시각적 및 인지 패턴을 바탕으로 도시 환경을 시뮬레이션하고 설계하는 데에 생성형 AI 모델의 잠재력을 탐색하기 위해.

제안 방법

• 도시 시각 분석의 주요 데이터 소스로 구글 스트리트 뷰와 같은 지리적 태그가 부여된 스트리트 레벨 영상을 활용한다.
• 딥 컨volution 신경망(DCNNs)과 생성적 적대 기반 네트워크(GANs)를 활용해 도시 풍경의 현실적인 표현을 추출하고 생성한다.
• 전이 학습과 사전 학습된 모델(예: ResNet, VGG)을 적용하여 건물 스타일, 식생, 쓰레기, 차량 유형과 같은 시각적 속성을 분류한다.
• 사용자 정의 입력(예: 용도, 건물 밀도, 도로 유형)을 기반으로 도시 환경을 시뮬레이션하기 위해 장면 생성 기법을 통합한다.
• 물리적 환경 특징과 사회경제 지표 간의 인과 관계를 밝혀내기 위해 해석 가능한 AI 모델을 활용한다.
• 공간 분석을 적용하여 다양한 척도에서 도시 물리적 요소의 조직 방식에 일관된 패턴을 식별한다.

실험 결과

연구 질문

• RQ1 스트리트 레벨 영상의 시각 정보는 어떻게 체계적으로 정량화되어 도시 장소의 물리적 환경을 대표할 수 있는가?
• RQ2 AI 기법은 도시의 매력도, 안전성, 활기성과 같은 도시적 특성을 측정하는 데 어떻게 향상시킬 수 있는가?
• RQ3 스프레이 페인팅, 쓰레기, 차량 유형과 같은 시각적 단서는 이웃의 사회경제적 및 심리사회적 지표와 어떻게 관련이 있는가?
• RQ4 생성형 AI 모델은 인지적 및 구조적 입력을 바탕으로 도시 환경을 정확하게 시뮬레이션하고 수정할 수 있는가?
• RQ5 어떤 공간 척도와 조직 단위가 도시 물리적 환경의 기본 구조를 가장 잘 대표하는가?

주요 결과

• 스트리트 레벨 영상과 딥 러닝은 전통적인 관찰 방법에 비해 효율성과 커버리지 면에서 뛰어난 확장 가능한 고해상도 도시 물리적 환경 분석을 가능하게 한다.
• 영상에서 추출한 시각적 단서, 예를 들어 깨진 창문, 스프레이 페인팅, 쓰레기 등은 이웃의 사회적 혼란을 측정하는 신뢰할 수 있는 대체 지표로 기능한다.
• 영상에서 유도된 차량 유형과 소유 패턴은 이웃의 인구 통계적 특성과 정치적 성향과 관련이 있으며, 새로운 사회경제적 지표를 제공한다.
• 생성적 적대 기반 네트워크(GANs)는 학습된 시각 패턴을 바탕으로 현실적인 도시 풍경을 생성할 수 있어 시나리오 기반 계획 및 디자인 탐색을 지원한다.
• 해석 가능한 AI 모델은 도시 분석에서 오염 요인을 드러내어 블랙박스 모델에 비해 정책에 유용한 통찰의 신뢰도를 향상시킨다.
• 이 프레임워크는 도시 물리적 요소에 일관된 공간 패턴이 존재함을 시사하며, 도시 조직의 잠재적 기본 공간 단위가 존재할 가능성을 제기한다.