[논문 리뷰] DLA-Net: Learning Dual Local Attention Features for Semantic Segmentation of Large-Scale Building Facade Point Clouds

Yanfei Su, Weiquan Liu외 5명|arXiv (Cornell University)|2021. 06. 01.

3D Surveying and Cultural Heritage참고 문헌 44인용 수 7

한 줄 요약

이 논문은 대규모 건물 외벽 포인트 클라우드에서 국소적 특징 학습을 향상시키기 위해 双중 국소 주의(DLA) 모듈을 사용하는 새로운 3D 세분화 네트워크인 DLA-Net을 제안한다. DLA 모듈은 개선된 위치 인코딩과 함께 자기 주의 및 주의 풀링을 통합하여, 160만 개 이상의 레이블이 부여된 포인트를 포함하는 새로 구축된 대규모이고 세분화된 건물 외벽 포인트 클라우드 기준에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Semantic segmentation of building facade is significant in various applications, such as urban building reconstruction and damage assessment. As there is a lack of 3D point clouds datasets related to the fine-grained building facade, we construct the first large-scale building facade point clouds benchmark dataset for semantic segmentation. The existing methods of semantic segmentation cannot fully mine the local neighborhood information of point clouds. Addressing this problem, we propose a learnable attention module that learns Dual Local Attention features, called DLA in this paper. The proposed DLA module consists of two blocks, including the self-attention block and attentive pooling block, which both embed an enhanced position encoding block. The DLA module could be easily embedded into various network architectures for point cloud segmentation, naturally resulting in a new 3D semantic segmentation network with an encoder-decoder architecture, called DLA-Net in this work. Extensive experimental results on our constructed building facade dataset demonstrate that the proposed DLA-Net achieves better performance than the state-of-the-art methods for semantic segmentation.

연구 동기 및 목표

• 건물 외벽 세분화를 위한 대규모이고 세분화된 3D 포인트 클라우드 데이터셋의 부족을 해결하기 위해.
• 특히 복잡하고 대규모의 시나리오에서 3D 포인트 클라우드 세분화의 국소 이웃 특징 표현을 향상시키기 위해.
• 포인트 클라우드의 공간적 의존성과 기하학적 구조를 효과적으로 포착할 수 있는 학습 가능한 주의 메커니즘을 개발하기 위해.
• 미래의 3D 건물 외벽 이해 연구를 지원하기 위해 모바일 레이저 스캐닝(Mobile Laser Scanning, MLS) 데이터를 활용한 새로운 벤치마크 데이터셋을 구축하기 위해.

제안 방법

• 자기 주의 블록과 주의 풀링 블록으로 구성된 双중 국소 주의(DLA) 모듈을 제안하며, 이는 모두 위치 인코딩 블록으로 강화된다.
• 상대적 위치 인코딩(상대적 점 위치 및 유클리드 거리)을 주의 메커니즘에 통합하여 공간 인식 능력을 향상시킨다.
• 원격 샘플링을 활용하여 효율적인 특징 추출을 수행하여, 최대점 샘플링(Farthest-Point Sampling)의 높은 계산 비용을 피한다.
• DLA 모듈을 인코더-디코더 네트워크 아키텍처에 통합하여 엔드 투 엔드 세분화를 위한 DLA-Net을 구축한다.
• 대규모 포인트 클라우드에서 세분화된 세부 사항을 유지하기 위해 다중 척도 특징 집약 전략을 사용한다.
• 질의 점, 키 포인트, 상대적 위치 및 거리의 조합을 사용하여 위치 인코딩 블록을 설계하여 주의 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 학습 가능한 주의 메커니즘이 대규모 3D 건물 외벽 포인트 클라우드의 국소 기하학적 및 구조적 특징을 효과적으로 포착할 수 있는가?
• RQ2 상대적 위치 인코딩의 통합이 포인트 클라우드 세분화에서 주의 기반 특징 학습에 어떻게 기여하는가?
• RQ3 세분화 정확도를 극대화하기 위해 위치 인코딩 블록 내에서 공간 정보의 최적 구성은 무엇인가?
• RQ4 DLA-Net 아키텍처는 대규모이고 세분화된 건물 외벽 벤치마크에서 최신 기술 수준의 방법들과 비교해 어떻게 성능을 내는가?
• RQ5 주의 풀링 블록은 특징 정제 및 세분화 성능 향상에 얼마나 기여하는가?

주요 결과

• DLA-Net은 새로 구축된 벤치마크에서 테스트 세트에서 평균 교차율(mIoU) 68.2%를 달성하여 최신 기술 수준의 방법들을 능가한다.
• 제거 실험을 통해 상대적 위치와 유클리드 거리를 위치 인코딩 블록에 함께 통합할 경우 성능이 가장 우수하며, mIoU가 59.7%로 상승함을 확인하였다.
• 자기 주의 블록의 매핑 함수와 변환된 특징 모두에 위치 인코딩 블록을 통합할 경우 성능이 가장 높았으며, mIoU는 68.2%였다.
• 주의 풀링 블록을 제거하거나 최대/평균 풀링으로 대체할 경우 성능이 크게 떨어지며, 이는 그 중요성이 확인됨을 시사한다.
• 주의 풀링 블록 내의 위치 인코딩 블록을 통합할 경우, 이를 완전히 제거한 경우보다 mIoU가 3.5%p 향상됨을 확인하였다.
• 전체 DLA-Net은 총 정확도(OA) 83.9%와 평균 정확도(mAcc) 81.4%를 기록하여 복잡한 외벽 시나리오에서 뛰어난 일반화 능력을 입증하였다.