[논문 리뷰] Automatic Pixelwise Object Labeling for Aerial Imagery Using Stacked U-Nets

Andrew Khalel, Motaz El-Saban|arXiv (Cornell University)|2018. 03. 13.

Advanced Neural Network Applications인용 수 25

한 줄 요약

이 논문은 다중 U-Net 모델을 엣지-투-엣지로 스택하여 예측을 반복적으로 개선하는 방식으로 항공 영상의 자동 픽셀 단위 의미 분할을 위한 스택드 U-Net 아키텍처를 제안한다. 이 방법은 Inria 및 Massachusetts Buildings 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하면서도, 최소한의 정확도 손실로 하향 샘플링을 통해 상당한 추론 속도 향상을 이룬다.

ABSTRACT

Automation of objects labeling in aerial imagery is a computer vision task with numerous practical applications. Fields like energy exploration require an automated method to process a continuous stream of imagery on a daily basis. In this paper we propose a pipeline to tackle this problem using a stack of convolutional neural networks (U-Net architecture) arranged end-to-end. Each network works as post-processor to the previous one. Our model outperforms current state-of-the-art on two different datasets: Inria Aerial Image Labeling dataset and Massachusetts Buildings dataset each with different characteristics such as spatial resolution, object shapes and scales. Moreover, we experimentally validate computation time savings by processing sub-sampled images and later upsampling pixelwise labeling. These savings come at a negligible degradation in segmentation quality. Though the conducted experiments in this paper cover only aerial imagery, the technique presented is general and can handle other types of images.

연구 동기 및 목표

• 에너지 및 광물 산업 등에서 항공 영상의 픽셀 단위 레이블링을 수작업으로 수행하는 데 소요되는 높은 비용과 시간 문제를 해결하기 위해.
• 고해상도 항공 영상에서 건물의 정확한 의미 분할을 위한 자동화된 딥 러닝 기반 방법을 개발하기 위해.
• 입력 해상도를 저하시켜 계산 효율성과 분할 정확도 사이의 트레이드오프를 탐색하기 위해.
• 예측을 반복적으로 개선하는 계단식 U-Net 아키텍처를 통해 분할 품질을 향상시키기 위해.
• CRF와 같은 후처리 기법의 효과를 평가하고, 건물 분할 작업에서 고체 다각형 마스크가 필요한지 여부를 점검하기 위해.

제안 방법

• 두 개의 U-Net 아키텍처를 스택하여, 첫 번째 U-Net의 출력을 두 번째 U-Net의 입력으로 사용함으로써 점진적인 예측 개선이 가능하도록 설계됨.
• 학습 중에 무작위 회전 및 반전 등의 데이터 증강 기법을 적용하여 모델의 일반화 능력과 강건성을 향상시킴.
• 이중 분류를 위한 시그모이드 활성화 함수를 사용한 교차 엔트로피 손실을 통해 엔드 투 엔드로 모델을 훈련함.
• 입력 영상의 해상도를 원본(0.3m)의 1/2 및 1/4로 감소시켜 계산 효율성을 평가하였으며, 평가를 위해 예측 결과를 선형 보간을 통해 업샘플링함.
• 모서리 세부 정보를 향상시키기 위해 조건부 랜덤 필드(CRF)를 후처리 단계로 테스트하였지만, 출력 형식과의 불일치로 최종 파ip라인에 포함하지 않음.
• 5000×5000 픽셀 크기의 타일 단위로 추론을 수행하고, 결과를 통합 및 임계값 처리하여 최종 분할 마스크 생성함.

실험 결과

연구 질문

• RQ1 스택드 U-Net 아키텍처는 다양한 항공 영상 데이터셋에서 단일 U-Net 및 최신 기술 수준 모델을 능가할 수 있는가?
• RQ2 입력 영상 해상도를 낮추는 것은 분할 정확도와 추론 속도에 어떤 영향을 미치는가?
• RQ3 고체 다각형 마스크가 필요한 건물 분할 작업에서 CRF 후처리가 유익한가?
• RQ4 정확도 저하가 미미한 수준에서 하향 샘플링된 영상을 효과적으로 사용하여 계산 시간을 줄일 수 있는가?
• RQ5 다른 공간 해상도와 물체 특성을 가진 데이터셋 간에 모델의 일반화 능력은 어느 정도인가?

주요 결과

• 스택드 U-Net 모델은 Inria Aerial Image Labeling 데이터셋에서 평균 교차율(IoU) 83.7%를 달성하여 현재 최신 기술 수준을 초월함.
• Massachusetts Buildings 데이터셋에서는 IoU 85.2%를 기록하며 기존 접근 방식을 모두 능가함.
• 입력 영상 해상도를 원본의 1/4로 낮추면 타일당 추론 시간이 약 160초에서 약 17초로 감소하였고, IoU는 0.52% 감소에 그침.
• 데이터 증강 기법을 적용함으로써 단일 U-Net의 IoU가 73.68%에서 74.38%로 향상되어 강건성 향상에 기여함을 입증함.
• CRF 후처리는 검증 세트에서 IoU를 72.58%로 떨어뜨려 성능 저하를 유발하였고, 건물 다각형 검출에 필요로 하지 않는 세밀한 모서리 정보를 추가하기 때문에 제거됨.
• 하향 샘플링된 영상을 처리함으로써 추론 시간이 4.5배 빨라졌고, 분할 품질에 거의 영향을 주지 않아 실시간 또는 대규모 배포에 적합함.