[논문 리뷰] The Direction-Aware, Learnable, Additive Kernels and the Adversarial Network for Deep Floor Plan Recognition

Yuli Zhang, Yeyang He외 2명|arXiv (Cornell University)|2020. 01. 30.

3D Surveying and Cultural Heritage참고 문헌 26인용 수 15

한 줄 요약

이 논문은 불규칙형 요소에 특히 적합한 방향 인식 가능하고 학습 가능한 덧셈 커널, 그리고 두 개의 판별자로 구성된 적대적 신경망을 제안하여 딥 플로어플랜 인식에서 세분화 정확도를 향상시키고 노이즈를 감소시킨다. 제안된 방법은 R2V 및 R3D 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 전체 정확도 0.94와 평균 IoU 0.74를 기록하여 이전 방법들인 DeepLabV3+와 DeepLabFloorplan을 크게 앞서나간다.

ABSTRACT

This paper presents a new approach for the recognition of elements in floor plan layouts. Besides of elements with common shapes, we aim to recognize elements with irregular shapes such as circular rooms and inclined walls. Furthermore, the reduction of noise in the semantic segmentation of the floor plan is on demand. To this end, we propose direction-aware, learnable, additive kernels in the application of both the context module and common convolutional blocks. We apply them for high performance of elements with both common and irregular shapes. Besides, an adversarial network with two discriminators is proposed to further improve the accuracy of the elements and to reduce the noise of the semantic segmentation. Experimental results demonstrate the superiority and effectiveness of the proposed network over the state-of-the-art methods.

연구 동기 및 목표

• 불규칙형 실내 공간(특히 원형 방 및 기울어진 벽)과 경계선에 대한 세분화 정확도 향상.
• 벽, 문, 창문 등 구조적 요소의 픽셀 수준 예측에서의 노이즈 감소.
• 플로어플랜 요소들 간의 공간적 관계를 보다 효과적으로 모델링.
• 일반적인 요소뿐 아니라 원형 방, 기울어진 벽 등 불규칙형 요소의 고정밀 인식 지원.
• 2D 플로어플랜에서 자동 3D 내부 디자인 및 가구 레이아웃 생성 지원.

제안 방법

• 다양한 공간적 방향성에 적응 가능한 방향 인식 가능하고 학습 가능한 덧셈 커널을 제안하며, 이는 컨volution 블록과 컨텍스트 모듈 양쪽에 적용된다.
• 이러한 커널을 배경 네트워크와 컨텍스트 모듈에 통합하여 불규칙한 형상에 대한 특징 학습을 향상시킨다.
• 세분화 출력을 정밀하게 다듬고 픽셀 수준의 예측에서 노이즈를 억제하기 위해 두 개의 판별자를 갖는 적대적 신경망을 활용한다.
• 다중 작업 및 계층적 레이블링 백본 네트워크를 사용하여 다양한 플로어플랜 요소를 동시에 최적화한다.
• 특히 복잡하고 불규칙한 기하학적 형태에서의 세분화 품질 향상을 위해 후처리를 적용한다.
• 클래스 불균형을 고려한 교차 엔트로피 손실과 적대적 손실을 사용하여 R2V 및 R3D 데이터셋에서 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 방향 인식 가능하고 학습 가능한 덧셈 커널은 원형 방이나 기울어진 벽과 같은 불규칙형 플로어플랜 요소의 세분화 정확도 향상에 기여하는가?
• RQ2 두 개의 판별자를 갖는 적대적 훈련 방식은 노이즈 감소와 픽셀 수준의 레이블 정확도 향상에 얼마나 효과적인가?
• RQ3 컨볼루션 블록과 컨텍스트 모듈 양쪽에 학습 가능한 커널을 통합함으로써 표준 커널 대비 공간적 관계 모델링 성능이 향상되는가?
• RQ4 제안된 방법은 R2V 및 R3D와 같은 기준 플로어플랜 데이터셋에서 DeepLabV3+ 및 PSPNet과 같은 최신 기술 수준 모델을 얼마나 뛰어넘는가?
• RQ5 이 방법은 자동 3D 내부 디자인 및 가구 배치 생성과 같은 실생활 산업 응용 분야로 일반화 가능한가?

주요 결과

• R2V 데이터셋에서 제안된 방법은 전체 정확도 0.94와 평균 IoU 0.74를 기록하였으며, DeepLabV3+(0.85/0.50)와 DeepLabFloorplan(0.89/0.63)을 모두 뛰어넘었다.
• R3D 데이터셋에서는 전체 정확도 0.94와 평균 IoU 0.75를 달성하여, PSPNet(0.84/0.50)과 DeepLabV3+(0.85/0.50)를 모두 초월했다.
• 네트워크는 특히 원형 및 불규칙한 실내 공간에서 경계선과 벽 구조에서 노이즈가 감소한 더 깔끔한 세분화 맵을 생성하였다.
• 후처리 없이도 기존 기준 모델보다 높은 정확도를 확보하여 강력한 특징 학습 능력을 입증하였다.
• 두 개의 판별자를 갖는 적대적 훈련은 잘못된 양성 결과(false positives)를 효과적으로 감소시키고 세분화 출력의 경계 일관성을 향상시켰다.
• 이 방법은 고품질의 3D 재구성과 자동 가구 레이아웃 생성을 가능하게 하였으며, 10만 건 이상의 산업용 3D 내부 디자인 솔루션이 이미 도입되었다.