[논문 리뷰] Facade Segmentation in the Wild

John Femiani, Wamiq Reyaz Para외 2명|arXiv (Cornell University)|2018. 05. 09.

Remote-Sensing Image Classification인용 수 16

한 줄 요약

이 논문은 도시 외벽의 과도한 '실생활' 풍경 이미지에서 다중라벨 의미적 세그멘테이션을 위한 세 가지 새로운 딥러닝 아키텍처—MultiFacSegnet, Separable, 그리고 Compatibility 네트워크—를 제안한다. 겹치는 레이블을 모델링하고, 분리 가능한 필터를 통해 기하학적 사전 지식을 활용하며, 반복적인 확률 개선을 통해 교차 클래스 일관성을 확보함으로써, 기준 데이터셋에서 창문 세그멘테이션 F1 스코어를 0.91에서 0.97로 향상시키는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Urban facade segmentation from automatically acquired imagery, in contrast to traditional image segmentation, poses several unique challenges. 360-degree photospheres captured from vehicles are an effective way to capture a large number of images, but this data presents difficult-to-model warping and stitching artifacts. In addition, each pixel can belong to multiple facade elements, and different facade elements (e.g., window, balcony, sill, etc.) are correlated and vary wildly in their characteristics. In this paper, we propose three network architectures of varying complexity to achieve multilabel semantic segmentation of facade images while exploiting their unique characteristics. Specifically, we propose a MULTIFACSEGNET architecture to assign multiple labels to each pixel, a SEPARABLE architecture as a low-rank formulation that encourages extraction of rectangular elements, and a COMPATIBILITY network that simultaneously seeks segmentation across facade element types allowing the network to 'see' intermediate output probabilities of the various facade element classes. Our results on benchmark datasets show significant improvements over existing facade segmentation approaches for the typical facade elements. For example, on one commonly used dataset, the accuracy scores for window(the most important architectural element) increases from 0.91 to 0.97 percent compared to the best competing method, and comparable improvements on other element types.

연구 동기 및 목표

• 스티칭 잔상, 왜곡, 복잡한 물체 겹침을 포함한 '실생활' 외벽 이미지에서 의미적 세그멘테이션의 과제를 해결한다.
• 한 픽셀이 여러 건축 요소(예: 창문과 발코니)에 동시에 속할 수 있는 픽셀 단위 다중라벨 예측을 가능하게 한다.
• 직사각형 형태와 정렬성 등의 기하학적 및 구조적 사전 지식을 활용하여, 사다리, 기둥과 같은 얇거나 비정형 외벽 요소의 탐지 성능을 향상시킨다.
• 다양한 데이터 소스(예: 거리 수준의 풍경 사진 및 사전 정규화된 이미지)에 일반화 가능한 스케일러블이고 종단 간(end-to-end) 딥러닝 프레임워크를 개발한다.
• 특히 창문과 같은 건축 요소의 오브제 기반 리콜 및 F1 스코어를 향상시켜 역순 프로시저 모델링 등의 후행 응용을 지원한다.

제안 방법

• 각 픽셀이 동시에 여러 레이블을 가질 수 있도록 허용하는 다중라벨 세그멘테이션 헤드인 MultiFacSegnet을 제안한다. 이는 겹치는 외벽 요소를 포괄한다.
• 낮은 랭크 컨볼루션 필터를 사용하는 Separable 아키텍처를 도입하여 창문, 발코니와 같은 직사각형 및 구조적 외벽 구성 요소의 탐지에 유리한 조건을 조성한다.
• 다양한 외벽 요소 클래스 간의 중간 출력을 활용하여 반복적으로 세그멘테이션 확률을 개선하는 Compatibility 네트워크를 설계하여 교차 클래스 일관성을 향상시킨다.
• 예측의 신뢰도와 공간 일관성을 향상시키기 위해 레이블 스무딩 및 반복 최적화 기법을 적용하며, 특히 노이즈가 많거나 왜곡된 영역에서 유의미한 성능 향상을 이룬다.
• 실제 조건에서의 일반화 능력을 확보하기 위해 새로운 대규모 스트리트 레벨 사진포스 데이터셋을 레이블링하여 훈련 및 평가를 수행한다.
• 경계 탐지 및 구조적 정확도를 향상시키기 위해 수정된 Segnet 백본에 에지 및 겹치는 레이블 감독을 추가한다.

실험 결과

연구 질문

• RQ1 겹치는 레이블을 허용하는 다중라벨 세그멘테이션은 실생활 풍경 이미지에서 외벽 요소 탐지 정확도를 크게 향상시킬 수 있는가?
• RQ2 분리 가능한 컨볼루션 필터는 왜곡된 외벽 이미지에서 창문, 발코니와 같은 직사각형 건축 요소의 탐지에 어느 정도 기여하는가?
• RQ3 반복적인 확률 개선을 통한 교차 클래스 일관성(Compatibility 네트워크)은 개별 클래스 예측보다 더 높은 세그멘테이션 성능을 이끌어내는가?
• RQ4 제안된 방법은 사다리, 기둥과 같은 얇거나 비정형 외벽 요소에 대해 오브제 기반 메트릭(예: 리콜 및 F1)에서 어떻게 성능을 발휘하는가?
• RQ5 이상치 데이터 분포, 예를 들어 심한 잔상과 혼잡함을 포함한 스트리트 뷰 풍경 사진에 대해 모델은 효과적으로 일반화되는가?

주요 결과

• 제안된 방법은 CMP 데이터셋에서 창문 F1 스코어 0.97을 달성하여 이전 최신 기술 수준의 0.91보다 뚜렷한 향상을 이룬다.
• eTRIMS 데이터셋에서는 훈련에 eTRIMS 데이터를 사용하지 않았고, 다른 데이터 분포에서 훈련되었음에도 불구하고 다른 딥러닝 기반 접근법보다 뛰어난 성능을 보였다.
• Separable 아키텍처는 대부분의 ECP 데이터셋 요소에서 최고의 정확도를 기록했으며, 기존 방법 대비 픽셀 수준 세그멘테이션에서 뛰어난 성능을 보였다.
• Compatibility 변종은 픽셀 수준의 F1 스코어를 향상시켰지만, 약간의 오브제 기반 리콜 및 F1 스코어 감소를 보였으며, 픽셀 수준과 오브제 수준 간의 성능 간극을 시사한다.
• 실생활 잔상, 예를 들어 블룸 효과, 스티칭 오류, 가림 현상 등에 대해 강인성을 보이며, 실생활 풍경 이미지에서 높은 성능을 유지한다.
• 경계 및 겹치는 레이블 감독의 추가는 복잡한 외벽 시나리오에서 경계 탐지 및 구조적 일관성 향상에 있어 뚜렷한 성과를 보였다.