[논문 리뷰] Learning deep structured active contours end-to-end

Diego Marcos, Devis Tuia외 5명|arXiv (Cornell University)|2018. 03. 16.

Automated Road and Building Extraction참고 문헌 29인용 수 43

한 줄 요약

DSAC는 CNN으로 활성 곡선 모델의 에너지 항을 예측하여 로컬 기하학적 priors를 end-to-end 학습 프레임워크에 통합하고, 여러 데이터셋에서 최첨단 대비으로 건물 인스턴스 분할을 향상시킵니다.

ABSTRACT

The world is covered with millions of buildings, and precisely knowing each instance's position and extents is vital to a multitude of applications. Recently, automated building footprint segmentation models have shown superior detection accuracy thanks to the usage of Convolutional Neural Networks (CNN). However, even the latest evolutions struggle to precisely delineating borders, which often leads to geometric distortions and inadvertent fusion of adjacent building instances. We propose to overcome this issue by exploiting the distinct geometric properties of buildings. To this end, we present Deep Structured Active Contours (DSAC), a novel framework that integrates priors and constraints into the segmentation process, such as continuous boundaries, smooth edges, and sharp corners. To do so, DSAC employs Active Contour Models (ACM), a family of constraint- and prior-based polygonal models. We learn ACM parameterizations per instance using a CNN, and show how to incorporate all components in a structured output model, making DSAC trainable end-to-end. We evaluate DSAC on three challenging building instance segmentation datasets, where it compares favorably against state-of-the-art. Code will be made available.

연구 동기 및 목표

• CNN 기반 특징 학습과 기하학적 형상 priors를 결합하여 정밀한 건물 외곽선을 얻는 것.
• 에너지 항을 학습하여 ACM의 엔드-투-엔드 학습을 가능하게 하는 것.
• balloon, 곡률, 데이터 항을 포함한 로컬 이미지 의존 프라이어를 통합하는 통합 프레임워크.
• 다수의 건물 데이터셋에서 DSAC를 평가하고 최첨단과 비교하는 것.

제안 방법

• 건물을 폴리곤으로 표현하고 CNN을 통해 ACM에 대한 인스턴스별 에너지 함수를 학습한다.
• D(데이터 항), alpha(길이 페널티), beta(곡률 페널티), kappa(벌룬)을 이미지 의존 맵으로 예측한다.
• 로컬 프라이어를 ACM 에너지에 통합하고 엔드-투-엔드 학습 루프에서 구조화된 SVM 손실로 최적화한다.
• 컨투어를 y^{t+1} = (I + A + B)^{-1}(y^{t} - dE_ext/dy^{t}) 형태의 미분가능한 업데이트로 추론한다.
• 손실 증강 추론을 통해 IoU 기반 작업 손실 Δ와 최대 마진 SSVM 목표를 사용하여 학습하고, 역전파로 CNN 가중치를 업데이트한다.
• D, alpha, beta, kappa가 전역 상수가 아닌 픽셀별로 학습 맵인 로컬로 페널티를 주는 ACM을 활용한다.

실험 결과

연구 질문

• RQ1 로컬의 이미지 의존 프라이어가 건물의 인스턴스 분할의 기하학적 정확도를 향상시킬 수 있는가?
• RQ2 ACM과 CNN을 엔드-투-엔드 학습 가능 프레임워크에 통합하면 순수 CNN 기반 기준선보다 더 나은 인스턴스 외곽선을 생성하는가?
• RQ3 벌룬 항 및 픽셀당 곡률/길이 페널티의 포함이 분할 품질에 어떤 영향을 미치는가?
• RQ4 손실 증가 추론이 포함된 엔드-투-엔드 SSVM 학습이 에너지 항의 학습에 어떤 영향을 미치는가?

주요 결과

Method	Vaihingen IoU	Bing huts IoU	Bing huts RMSE (m^2)
CNN Baseline	0.78	0.56	23.9
DSAC (ours)	0.84	0.65	13.4
DSAC (scalar κ , β)	0.64	0.60	19.1
DSAC (no κ)	0.63	0.42	31.2
DSAC (local α)	0.83	0.65	13.4

• DSAC는 Vaihingen 및 Bing huts에서 수동 초기화 시 CNN 기준선보다 더 높은 IoU를 달성(표 1에 제시된 IoU 개선).
• 로컬 픽셀당 beta 및 balloon priors가 분할 품질을 개선하는 반면, 전역 kappa를 사용하거나 kappa를 생략하면 성능이 저하된다.
• 토론토시 자동 초기화에서 DSAC은 가중치 커버리지 및 형태 유사도에서 참조 방식(DWT, FCN, ResNet)보다 개선된다.
• 토론토시 실험에서 하이브리드 초기화(원시 DWT로 학습하고 포스트 프로세스된 DWT로 테스트)가 WeighCov/PolySim에서 최상의 값을 보여준다.
• DSAC는 컨투어 수렴을 위한 벌룬 term의 중요성과 모서리와 직선 가장자리를 위한 로컬 프라이어의 중요성을 시사한다.