[논문 리뷰] DARNet: Deep Active Ray Network for Building Segmentation

Dominic Cheng, Renjie Liao외 2명|arXiv (Cornell University)|2019. 05. 15.

Advanced Neural Network Applications참고 문헌 5인용 수 13

한 줄 요약

DARNet는 자기 교차를 방지하고 경계 부착성을 향상시키기 위해 극좌표 매개변수화된 윤곽선을 사용하는 딥 액티브 레이 네트워크를 제안한다. 컨볼루션 네트워크(CNN)를 통해 에너지 맵을 예측하고 윤곽선 진화를 엔드 투 엔드로 최적화함으로써, DARNet는 세 가지 데이터셋에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성하며, 이전 방법인 DSAC에 비해 경계 정렬이 향상되고 윤곽선 자기 교차가 감소한다.

ABSTRACT

In this paper, we propose a Deep Active Ray Network (DARNet) for automatic building segmentation. Taking an image as input, it first exploits a deep convolutional neural network (CNN) as the backbone to predict energy maps, which are further utilized to construct an energy function. A polygon-based contour is then evolved via minimizing the energy function, of which the minimum defines the final segmentation. Instead of parameterizing the contour using Euclidean coordinates, we adopt polar coordinates, i.e., rays, which not only prevents self-intersection but also simplifies the design of the energy function. Moreover, we propose a loss function that directly encourages the contours to match building boundaries. Our DARNet is trained end-to-end by back-propagating through the energy minimization and the backbone CNN, which makes the CNN adapt to the dynamics of the contour evolution. Experiments on three building instance segmentation datasets demonstrate our DARNet achieves either state-of-the-art or comparable performances to other competitors.

연구 동기 및 목표

• 항공 영상의 딥 러닝 기반 의미적 및 인스턴스 세그멘테이션에서 건물 경계의 정밀도가 떨어지는 문제를 해결하기 위해.
• 자신의 교차와 복잡한 에너지 최적화 문제를 포함한 전통적인 액티브 윤곽 모델의 한계를 극좌표(레이 기반) 매개변수화를 통해 극복하기 위해.
• CNN과 윤곽선 진화 과정을 동시에 훈련할 수 있도록 가능한 미분 가능한 프레임워크를 설계하기 위해.
• 실제 건물 경계와 일치하도록 윤곽선을 유도하는 데 중점을 둔 새로운 손실 함수를 도입하기 위해.
• 특히 도시 및 재해 영향을 받은 지역에서 복잡하고 密집된 건물의 세그멘테이션 품질을 향상시키기 위해.

제안 방법

• 자카르드 좌표계가 아닌 극좌표계(레이)를 사용하여 윤곽선을 표현함으로써 자기 교차를 제거하고 에너지 함수 설계를 단순화한다.
• 딥 컨볼루션 네트워크(CNN) 백본을 활용하여 데이터 항목(D), 곡률 항목(β), 팽창 항목(κ)의 세 가지 에너지 맵을 예측함으로써 윤곽선 진화를 이끈다.
• 극좌표 매개변수화 기반으로 기울기 하강법을 사용하여 에너지 최소화를 통해 윤곽선을 진화시킴으로써, 미분 가능한 최적화를 가능하게 한다.
• 실제 건물 경계선과 일치하지 않는 윤곽선 포인트에 대해 벌점을 주는 새로운 손실 함수를 도입하여 직접적으로 경계 정확도를 지도한다.
• 큰 또는 복잡한 건물의 세그멘테이션 향상을 위해 각 이미지당 다중 초기화를 지원하고, 최종 예측을 위한 융합 전략을 구현한다.
• CNN과 에너지 최소화 과정을 모두 거쳐 기울기 역전파를 통해 전체 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 액티브 윤곽선의 극좌표 매개변수화가 건물 세그멘테이션에서 경계 부착성 향상과 자기 교차 제거에 기여할 수 있는가?
• RQ2 윤곽선 진화와 함께 CNN을 엔드 투 엔드로 훈련시키면 실제 건물 경계와의 정렬이 향상되는가?
• RQ3 제안된 에너지 함수와 손실 설계가 기존 액티브 윤곽선 및 딥 러닝 방법에 비해 세그멘테이션 정확도 측면에서 어떻게 비교되는가?
• RQ4 다중 초기화가 도시 환경에서 큰 또는 복잡한 건물의 세그멘테이션에 얼마나 기여하는가?
• RQ5 이 방법은 건물 형태와 영상 품질이 다양한 다양한 데이터셋 간에 일반화 가능한가?

주요 결과

• DARNet는 Vaihingen, Bing Huts, TorontoCity 세 가지 벤치마크 데이터셋에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성한다.
• Vaihingen 데이터셋에서 DARNet는 평균 교차율(mIOU) 83.4%를 기록하여 DSAC 및 기타 최신 기술 방법을 능가한다.
• TorontoCity에서 DARNet는 DSAC보다 높은 mIOU를 기록했으며, 경계 F1(BoundF) 지표에서 뚜렷한 향상을 보여, 더 나은 경계 정렬을 의미한다.
• 다중 초기화의 사용은 대규모 상업 및 산업용 건물의 성능 향상에 기여하여 과소세그멘테이션을 감소시키고 커버리지 확대를 이룬다.
• 정성적 결과에서는 DARNet의 윤곽선이 실제 건물 경계선에 더 견고하게 부착되어 있고, DSAC의 경우 일부 사례에서 자기 교차를 피하기 못하는 것과 대비된다.
• 실패 사례로는 불확실성이 발생할 경우 인접한 건물로 과도하게 팽창하는 현상과, 복잡한 레이아웃을 가진 대규모 기능 풍부한 상업용 부지에서 혼동이 발생하는 경우가 있다.