[논문 리뷰] Dense labeling of large remote sensing imagery with convolutional neural networks: a simple and faster alternative to stitching output label maps.

Bohao Huang, Daniël Reichman외 3명|arXiv (Cornell University)|2018. 05. 30.

Advanced Neural Network Applications참고 문헌 27인용 수 2

한 줄 요약

이 논문은 원격 감지 영역 분할에서 레이블 맵을 스티칭하는 데 소요되는 시간을 줄이고, 추론 중에 컨볼루션 신경망 입력 크기를 늘림으로써 더 단순하고 빠른 대안을 제안한다. 이로 인해 계산 오버헤드와 경계 불연속성이 감소하며, 추론 속도는 크게 향상되고 정확도는 약간 향상되어 INRIA 빌딩 레이블링 경쟁에서 우승을 차지했다.

ABSTRACT

In this work we consider the application of convolutional neural networks (CNNs) for pixel-wise labeling (a.k.a., semantic segmentation) of remote sensing imagery (e.g., aerial color or hyperspectral imagery). Remote sensing imagery is usually stored in the form of very large images, referred to as tiles, which are too large to be segmented directly using most CNNs and their associated hardware. As a result, during label inference, smaller sub-images, called patches, are processed individually and then stitched (concatenated) back together to create a tile-sized label map. This approach suffers from computational ineffiency and can result in discontinuities at output boundaries. We propose a simple alternative approach in which the input size of the CNN is dramatically increased only during label inference. This does not avoid stitching altogether, but substantially mitigates its limitations. We evaluate the performance of the proposed approach against a vonventional stitching approach using two popular segmentation CNN models and two large-scale remote sensing imagery datasets. The results suggest that the proposed approach substantially reduces label inference time, while also yielding modest overall label accuracy increases. This approach contributed to our wining entry (overall performance) in the INRIA building labeling competition.

연구 동기 및 목표

• 큰 원격 감지 영상의 영역 분할에서 작은 패치 예측을 스티칭함으로써 발생하는 계산 비효율성과 경계 아티팩트를 해결한다.
• 매우 큰 위성 또는 항공 영상 타일의 밀도 있는 레이블링을 위한 추론 시간을 줄인다.
• 추론 중 패치 스티칭에 의존도를 줄임으로써 레이블 맵의 연속성을 향상시킨다.
• 모델 재학습 없이도 기존 모델을 그대로 사용할 수 있는 실용적이고 하드웨어 친화적인 패치 기반 추론의 대안을 제공한다.
• 실제 원격 감지 데이터셋을 대상으로 성능 향상을 입증하여 이 방법의 효과성을 검증한다.

제안 방법

• 사전 훈련된 CNN의 추론 중 입력 크기를 늘려 더 큰 영역을 직접 처리함으로써 작은 패치 처리를 피한다.
• 모델 재학습이나 아키텍처 변경 없이도 동일한 훈련된 CNN 모델을 더 큰 입력 영역에 적용하여 수용 영역을 확장한다.
• 패치 기반 방법과 비교해 더 적은 수의 큰 추론 단계로 전체 타일을 처리함으로써 전방 계산 횟수를 줄인다.
• 표준 훈련에서 사용한 모델 가중치와 아키텍처를 유지하면서, 타일의 크기에 맞게 추론 입력 크기만 조정한다.
• 직접적인 패치 스티칭을 피하기 위해 더 큰 수용 영역과 공간 연속성을 통해 연속적인 레이블 맵을 생성한다.
• 기존의 CNN을 최소한의 수정으로 활용하며, 오직 추론 시 입력 크기 조정에 집중한다.

실험 결과

연구 질문

• RQ1 추론 중에 CNN 입력 크기를 늘림으로써 큰 원격 감지 영상 분할에서 패치 스티칭이 줄어들 수 있는가?
• RQ2 기존의 패치 기반 방법과 비교해 이 방법이 더 빠른 추론 시간을 제공하는가?
• RQ3 이 방법이 레이블 맵의 연속성을 향상시키고 경계 아티팩트를 줄일 수 있는가?
• RQ4 더 큰 입력 크기가 분할 정확도에 측정 가능한 향상 효과를 가져오는가?
• RQ5 이 방법은 아키텍처 변경 없이 다양한 원격 감지 데이터셋에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 방법은 기존의 패치 스티칭 기반 접근 방식에 비해 레이블 추론 시간을 크게 줄였다.
• 이 방법은 두 개의 벤치마크 데이터셋에서 일관되게 약간의 정확도 향상을 기록했다.
• 더 큰 수용 영역 덕분에 일반적으로 스티칭된 레이블 맵에서 관찰되는 경계 불연속성이 크게 감소했다.
• 이 방법은 INRIA 빌딩 레이블링 경쟁에서 가장 높은 종합 성능을 기록하여 실제 적용에서의 효과성을 입증했다.
• 모델 재학습이나 아키텍처 수정 없이도 구현 가능하므로 기존 모델에 쉽게 적용할 수 있다.
• 성능 향상은 추론 시 더 큰 입력 크기를 통해 더 나은 공간적 맥락 모델링이 가능하기 때문으로 분석된다.