[논문 리뷰] Window Detection In Facade Imagery: A Deep Learning Approach Using Mask R-CNN

Nils Nordmark, Mola Ayenew|arXiv (Cornell University)|2021. 07. 21.

Automated Road and Building Extraction참고 문헌 25인용 수 6

한 줄 요약

이 논문은 새로운 데이터셋을 바탕으로 전이 학습과 데이터 증강을 활용하여 스트리트 뷰 파사드 영상에서 인스턴스 수준의 창문 검출을 위한 마스크 R-CNN 기반 딥러닝 접근법을 제안한다. 이 방법은 eTRIMS 데이터셋에서 후처리 최적화 없이도 최신 기술 수준의 성능을 달성하며, mAP(94.76%)와 픽셀 정확도(94.55%)를 기록했고, 창문 틀을 중심으로 정밀한 창문 경계 주석을 도입하였다.

ABSTRACT

The parsing of windows in building facades is a long-desired but challenging task in computer vision. It is crucial to urban analysis, semantic reconstruction, lifecycle analysis, digital twins, and scene parsing amongst other building-related tasks that require high-quality semantic data. This article investigates the usage of the mask R-CNN framework to be used for window detection of facade imagery input. We utilize transfer learning to train our proposed method on COCO weights with our own collected dataset of street view images of facades to produce instance segmentations of our new window class. Experimental results show that our suggested approach with a relatively small dataset trains the network only with transfer learning and augmentation achieves results on par with prior state-of-the-art window detection approaches, even without post-optimization techniques.

연구 동기 및 목표

• 복잡한 실제 환경의 파사드 영상에서 정확하고 인스턴스 수준의 창문 검출 문제를 해결하기 위해.
• 개별 창문에 대해 바운딩 박스와 세그멘테이션 마스크를 생성할 수 있는 딥러닝 프레임워크를 개발하기 위해.
• 전이 학습과 데이터 증강을 활용하여 비교적 소규모이지만 고품질의 데이터셋만으로도 견고한 모델을 훈련시키기 위해.
• 일관되고 프레임 기반 주석 체계를 도입하여 창문 검출 분야의 새로운 기준을 설정하기 위해.
• 향후 파사드 해석 및 디지털 트윈 응용 분야 연구를 지원하기 위해 무료로 정밀한 데이터셋 자원을 제공하기 위해.

제안 방법

• 파사드 영상에서 창문을 검출하기 위해 엔드 투 엔드 인스턴스 세그멘테이션 모델로 마스크 R-CNN 프레임워크를 채택한다.
• 스트리트 뷰 파사드 영상의 커스터마이즈된 데이터셋에서 COCO 사전 훈련 가중치를 사용하여 전이 학습을 통해 모델을 미세 조정한다.
• 제한된 훈련 데이터로 일반화 능력을 향상시키기 위해 수평 뒤집기(fliplr)와 같은 데이터 증강 기법을 적용한다.
• 창문 콘텐츠가 아닌 물리적 창문 틀을 기반으로 창문 경계를 주석 처리하여 주석 일관성을 향상시킨다.
• Google Colab에서 테슬라 K80 GPU를 사용하여 60개 이상의 모델 구성에서 최적의 하이퍼파ram터를 도출하기 위해 훈련 및 평가를 수행한다.
• 평가 시 주로 사용된 평가 지표는 10개의 이미지로 구성된 별도의 테스트 세트에서의 평균 평균 정확도(mAP)와 픽셀 정확도이다.

실험 결과

연구 질문

• RQ1 전이 학습과 데이터 증강만을 사용하여 비교적 소규모의 실제 파사드 영상 데이터셋에서 마스크 R-CNN가 경쟁 가능한 창문 검출 성능을 달성할 수 있는가?
• RQ2 기존 창문 콘텐츠 기반 세그멘테이션과 비교해, 프레임 기반 창문 주석이 모델 성능에 어떤 영향을 미치는가?
• RQ3 바운딩 박스와 마스크를 함께 제공하는 인스턴스 세그멘테이션 기법이 파사드 해석 작업에서 의미론적 세그멘테이션에 비해 얼마나 향상될 수 있는가?
• RQ4 후처리 최적화 기법 없이도 제안된 방법이 이전 최신 기술 수준의 접근법을 초월할 수 있는가?
• RQ5 정밀하게 주석 처리된 소규모 데이터셋이 더 큰, 더 복잡한 데이터셋과 비교해도 창문 검출 성능에서 유사한 결과를 낼 수 있는가?

주요 결과

• 제안된 방법은 테스트 세트에서 평균 평균 정확도(mAP)가 94.76%를 기록하여 후처리 최적화 없이도 이전 최신 기술 수준의 접근법을 초월하였다.
• 테스트 세트에서 창문 클래스의 픽셀 정확도는 94.55%에 도달하여 픽셀 수준의 검출 신뢰도가 매우 높음을 시사하였다.
• 단일 구성에서는 91.93%의 픽셀 정확도를, 최고 성능을 보인 모델에서는 94.76%의 정확도를 기록하여 강력한 일반화 능력을 입증하였다.
• 전이 학습과 데이터 증강을 활용함으로써 비교적 소규모 훈련 데이터셋에도 불구하고 높은 성능를 달성할 수 있었다.
• 프레임 기반 주석 체계는 일관성 있고 정밀한 모델 학습에 기여하여 창문 경계의 모호성을 감소시켰다.
• 복잡하고 비직선적인 스트리트 뷰 이미지에서도 정확한 바운딩 박스와 세그멘테이션 마스크를 통해 개별 창문 인스턴스를 성공적으로 검출하였다.