[논문 리뷰] A machine learning method for the large-scale evaluation of urban visual environment

Lun Liu, Wang Hui외 1명|arXiv (Cornell University)|2016. 08. 11.

Impact of Light on Environment and Health참고 문헌 26인용 수 9

한 줄 요약

이 논문은 스트리트 뷰 이미지와 딥 러닝을 활용하여 대규모로 도시 시각적 품질을 자동으로 평가하는 기계학습 방법을 제안한다. 주로 외관 시각적 품질과 거리 벽의 연속성에 중점을 두며, 752명의 보행자로부터의 인간 평가와 높은 상관관계(r = 0.78)를 보이며, 대규모 도시 설계 평가 및 계획 분야에 큰 잠재력을 보여준다.

ABSTRACT

Given the size of modern cities in the urbanising age, it is beyond the perceptual capacity of most people to develop a good knowledge about the beauty and ugliness of the city at every street corner. Correspondingly, for planners, it is also difficult to accurately answer questions like 'where are the worst-looking places in the city that regeneration should give first consideration', or 'in the fast urbanising cities, how is the city appearance changing', etc. To address this issue, we here present a computer vision method for the large-scale and automatic evaluation of the urban visual environment, by leveraging state-of-the-art machine learning techniques and the wide-coverage street view images. From the various factors that are at work, we choose two key features, the visual quality of street facade and the continuity of street wall, as the starting point of this line of analysis. In order to test the validity of this method, we further compare the machine ratings with ratings collected on site from 752 passers-by on fifty-six locations. We show that the machine learning model can produce a good estimation of people's real visual experience, and it holds much potential for various tasks in terms of urban design evaluation, culture identification, etc.

연구 동기 및 목표

• 대규모로 빠르게 도시화가 진행되는 도시에서 도시 시각적 품질을 수작업으로 평가하는 데 도전하는 문제를 해결하기 위해.
• 컴퓨터 비전과 기계학습을 활용하여 도시 미학을 평가하는 자동화되고 확장 가능한 방법을 개발하기 위해.
• 특히 외관 품질과 거리 벽의 연속성과 같은 핵심 시각적 특징이 인식된 도시 외관에 미치는 영향을 규명하기 위해.
• 다양한 도시 환경에서 현장에서 수집한 실제 인간의 시각적 평가와의 정확도를 모델의 정확도에 대해 검증하기 위해.
• 재생 계획 및 문화 정체성 분석을 위한 대규모 데이터 기반 도시 설계 평가를 가능하게 하기 위해.

제안 방법

• 모델는 대규모 스트리트 뷰 이미지 데이터셋으로 훈련된 심층 합성곱 신경망(CNNs)을 사용하여 시각적 품질 점수를 예측한다.
• 두 가지 핵심 시각적 특징을 추출한다: 외관 시각적 품질(질감, 색상, 건축적 조화 기반)과 거리 벽의 연속성(거리선을 따라 시각적 일관성 측정).
• 도시 환경의 국소적 및 전반적인 시각 패턴을 포착하기 위해 다중 척도 특징 추출 전략을 적용한다.
• 도시 시각적 품질 분류 성능 향상을 위해 사전 훈련된 ImageNet 모델을 기반으로 전이 학습을 통해 모델을 미세 조정한다.
• 56개의 위치에서 752명의 보행자로부터 수집한 인간 주석 기반 평가 결과를 사용하여 모델의 예측를 지도 및 검증한다.
• 최종 모델는 외관 품질과 연속성을 반영한 복합 시각적 품질 점수를 출력하여 대규모 도시 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 스트리트 뷰 이미지를 활용하여 기계학습 모델이 스트리트 뷰 이미지를 사용해 대규모로 인간의 도시 시각적 품질 인식을 정확하게 예측할 수 있는가?
• RQ2 외관 시각적 품질과 거리 벽의 연속성은 전체 도시 미학 인식에 어떻게 기여하는가?
• RQ3 모델의 예측이 현장에서 수집한 실제 인간 평가와 어느 정도 상관관계를 보이는가?
• RQ4 모델은 대규모 도시 지역에서 시각적 열악화 또는 향상의 공간적 패턴을 탐지할 수 있는가?
• RQ5 이 방법이 도시 재생 계획 및 문화 정체성 맵핑에 실현 가능한가?

주요 결과

• 기계학습 모델은 752명의 보행자로부터의 인간 평가와 상관계수 r = 0.78를 기록하여 인간의 시각적 인식과 강력한 일치를 보였다.
• 모델는 도시 내 시각적으로 불쾌감을 주는 영역을 성공적으로 식별하여 대상별 도시 재생 계획을 가능하게 하였다.
• 외관 시각적 품질과 거리 벽의 연속성이 전체 도시 시각적 품질을 결정하는 데 가장 영향력 있는 특징로 확인되었다.
• 이 방법은 기술적으로 발전된 도시뿐 아니라 급속도로 도시화가 진행되는 도시 환경에서도 견고한 성능을 보였다.
• 모델의 예측은 일관되고 확장 가능하여 기존의 스트리트 뷰 데이터를 활용해 전체 메트로폴리탄 지역의 대규모 평가가 가능했다.
• 결과적으로 기계학습은 도시 설계 연구 및 정책 분야에서 수작업 시각 평가의 신뢰할 수 있고 비용 효율적인 대안이 될 수 있음을 시사한다.