[논문 리뷰] Towards Global-Scale Crowd+AI Techniques to Map and Assess Sidewalks for People with Disabilities

Maryam Hosseini, Michael Saugstad외 4명|arXiv (Cornell University)|2022. 06. 28.

Urban Transport and Accessibility인용 수 8

한 줄 요약

이 논문은 위성 영상 분석, 계층적 다중 스케일 주의를 통한 의미 분할, 스트리트 레벨 영상에 기반한 주동 학습 기반 의미 분할, 그리고 공동체 기반 접근성 레이블링을 조합한 사전 처리가 완료된 네 단계의 커뮤니티+AI 파이프라인을 제시한다. 이는 전 세계의 보도 네트워크를 지ap, 분류, 평가하는 데 목적이 있다. 주요 기여는 대규모 고해상도 보도 지도 제작과 접근성 평가를 가능하게 하는 확장 가능한 데이터 기반 프레임워크를 제공하는 것으로, 워싱턴 D.C.에서 70만 건 이상의 접근성 평가 레이블을 기반으로 성능을 입증하였다.

ABSTRACT

There is a lack of data on the location, condition, and accessibility of sidewalks across the world, which not only impacts where and how people travel but also fundamentally limits interactive mapping tools and urban analytics. In this paper, we describe initial work in semi-automatically building a sidewalk network topology from satellite imagery using hierarchical multi-scale attention models, inferring surface materials from street-level images using active learning-based semantic segmentation, and assessing sidewalk condition and accessibility features using Crowd+AI. We close with a call to create a database of labeled satellite and streetscape scenes for sidewalks and sidewalk accessibility issues along with standardized benchmarks.

연구 동기 및 목표

• 보도 위치, 연결성, 접근성 조건에 대한 신뢰할 수 있고 고해상도 데이터의 글로벌 부족을 해결하기 위해.
• 컴퓨터 비전과 공동체 기반 기반의 반자동 파이프라인을 통합해 대규모 보도 지도 제작 및 평가를 위한 확장 가능한 파이프라인을 개발하기 위해.
• 기준 및 모델 훈련을 위한 벤치마크로 사용할 수 있도록, 레이블이 부여된 보도 영상 및 접근성 기능을 포함한 대규모 개방형 데이터셋을 구축하기 위해.
• 보도 네트워크 구조, 표면 재질, 상태 데이터를 통합함으로써 접근성 인식 기반 보행자 라우팅 및 도시 분석을 가능하게 하기 위해.
• 다양한 도시 환경에서 AI 기반 보도 평가에 존재하는 편향을 식별하고 완화하기 위해.

제안 방법

• HRNet-W48+OCR 기반의 계층적 다중 스케일 주의 모델을 사용해 정규화된 항공 영상에서 의미 분할을 수행하여 픽셀을 보도, 횡단보도, 도로, 배경으로 분류한다.
• 세그먼테이션된 래스터 출력을 지오레퍼런싱된 다각형 및 중심선으로 변환하여 2단계에서 보도 네트워크의 위상학적 구조를 구성한다.
• 주동 학습 기반 의미 분할을 스트리트 레벨 영상에 적용하여 bitumen, 벽돌, 조약돌과 같은 표면 재질을 추론한다.
• 워싱턴 D.C. 전역에서 70만 건 이상의 지오로케이션된 접근성 레이블을 공동체 기반으로 수집하고 검증하였으며, 모델 훈련 및 평가에 40만 건의 검증 데이터를 활용하였다.
• AI에 의해 추론된 표면 데이터와 공동체 기반 접근성 점수를 융합하여 시각화 및 분석을 위한 복합 접근성 지표를 계산한다.
• LIDAR 깊이, 장면 위치, 지리적 특징를 포함한 수정된 ResNet-18 모델을 사용해 인간 레이블 접근성 데이터 검증에서 최신 기술 성능을 달성하였으며, 평균 정밀도(AP): 81.3%, 재현율(R): 77.2%를 기록하였다.

실험 결과

연구 질문

• RQ1 확장 가능한 반자동 파이프라인이 컴퓨터 비전과 공동체 기반 기반의 기술을 어떻게 통합하여 전 세계 규모의 보도 네트워크를 지도화할 수 있는가?
• RQ2 한 도시에서 훈련된 AI 모델이 다른 도시 환경에서 보도 접근성 평가에 얼마나 일반화되는가?
• RQ3 조약돌, 벽돌과 같은 표면 재질이 보도 접근성에 어떤 영향을 미치며, 자동 평가에서 신뢰성 있게 감지하고 가중치를 적용할 수 있는가?
• RQ4 AI 기반 보도 평가의 주요 실패 원인과 편향은 무엇이며, 이를 어떻게 식별하고 완화할 수 있는가?
• RQ5 레이블이 부여된 위성 영상과 스트리트스케이프 영상의 통합 기준 벤치마크 및 개방형 데이터셋은 보도 접근성 및 도시 인포매틱스 분야의 연구를 어떻게 촉진할 수 있는가?

주요 결과

• 이 파이프라인이 워싱턴 D.C.에서 공식 보행자 네트워크 데이터가 존재하지 않는 상황에서 73,000개의 위성 영상 타일에서 70만 건 이상의 보도 세그먼트를 성공적으로 추출하고 지오로케이션화하였다.
• 계층적 다중 스케일 주의 모델은 가림, 작은 시각적 영역 등과 같은 도전 요소가 존재하더라도 보도, 보도 통로, 횡단보도의 분할에서 높은 정확도를 달성하였다.
• 주동 학습 기반 의미 분할은 스트리트 레벨 영상에서 표면 재질을 효율적이고 정확하게 추론할 수 있었으며, 조약돌, 벽돌과 같은 위험한 표면에 더 높은 가중치를 부여하였다.
• 수정된 ResNet-18 모델은 인간 레이블 접근성 데이터 검증에서 최신 기술 성능을 달성하였으며, 평균 정밀도 81.3% 및 재현율 77.2%를 기록하였다.
• 파이프라인이 도시 간 일반화 능력을 입증하였으며, 워싱턴 D.C. 데이터로 미리 훈련된 모델이 시애틀, 워싱턴주 및 뉴버그, 오리건주에서 효과적으로 접근성 평가를 수행할 수 있었다.
• 저자들은 70만 건 이상의 지오로케이션된 접근성 레이블을 수집하고 검증하였으며, 이는 알려진 바로는 가장 크고 세밀한 개방형 보도 접근성 데이터셋이다.