[논문 리뷰] Tiling and Stitching Segmentation Output for Remote Sensing: Basic Challenges and Recommendations

Bohao Huang, Daniël Reichman외 3명|arXiv (Cornell University)|2018. 05. 30.

Advanced Neural Network Applications참고 문헌 21인용 수 30

한 줄 요약

이 논문은 추론 중에 컨볼루션 신경망(CNN)의 입력 크기를 늘림으로써 대규모 원격 감지 영상의 의미적 세그멘테이션을 위한 수정된 추론 전략을 제안한다. 이는 패치 틀기와 조립에 대한 의존도를 줄이며, 추론 시간을 크게 단축하고 정확도를 향상시킨다. 이는 건물 세그멘테이션 경쟁에서 우승을 차지하는 데 기여하였다.

ABSTRACT

In this work we consider the application of convolutional neural networks (CNNs) for pixel-wise labeling (a.k.a., semantic segmentation) of remote sensing imagery (e.g., aerial color or hyperspectral imagery). Remote sensing imagery is usually stored in the form of very large images, referred to as "tiles", which are too large to be segmented directly using most CNNs and their associated hardware. As a result, during label inference, smaller sub-images, called "patches", are processed individually and then "stitched" (concatenated) back together to create a tile-sized label map. This approach suffers from computational ineffiency and can result in discontinuities at output boundaries. We propose a simple alternative approach in which the input size of the CNN is dramatically increased only during label inference. This does not avoid stitching altogether, but substantially mitigates its limitations. We evaluate the performance of the proposed approach against a vonventional stitching approach using two popular segmentation CNN models and two large-scale remote sensing imagery datasets. The results suggest that the proposed approach substantially reduces label inference time, while also yielding modest overall label accuracy increases. This approach contributed to our wining entry (overall performance) in the INRIA building labeling competition.

연구 동기 및 목표

• 대규모 원격 감지 영상의 의미적 세그멘테이션에서 패치 틀기 및 조립으로 인한 계산 비효율성과 경계 불연속성 문제를 해결하기 위해.
• 매우 큰 항공 또는 하이퍼스펙트럴 영상의 픽셀 단위 분류에서 추론 시간을 줄이고 레이블 정확도를 향상시키기 위해.
• 접착 아티팩트를 최소화하는 기존의 패치 기반 추론에 대한 실용적인 대안을 제안하기 위해.
• 실제 데이터셋을 사용하여 방법을 평가하고 표준 패치 틀기-조립 워크플로우 대비 성능 향상을 입증하기 위해.
• 대규모 원격 감지 영상에 대해 CNN을 구현하기 위한 실질적인 권고 사항을 제공하기 위해.

제안 방법

• 작은 영상 패치를 처리하고 추론 후 조립하는 대신, 추론 중에 CNN의 수용장역을 늘려 더 큰 영역을 처리하도록 한다.
• 모델은 표준 패치 기반 학습을 통해 훈련하지만, 추론 시 더 큰 입력 크기를 사용하여 명시적 조립이 필요한 정도를 줄인다.
• 모델 아키텍처와 훈련 절차는 유지하나, 유일하게 추론 단계의 입력 크기만 수정한다.
• 접한 영역이 겹치는 수용장역을 통해 패치 조립으로 인한 경계 아티팩트가 최소화된다.
• 전체 재학습을 피하고 기존의 사전 훈련된 모델과도 호환된다.
• 평가에는 두 가지 인기 있는 CNN 아키텍처와 두 개의 대규모 원격 감지 데이터셋을 사용하여 성능을 비교한다.

실험 결과

연구 질문

• RQ1 기본적인 패치 틀기 및 조립 방식과 비교해, 추론 입력 크기를 늘임으로써 세그멘테이션 정확도에 어떤 영향을 미치는가?
• RQ2 제안된 방법은 대규모 원격 감지 영상 세그멘테이션에서 추론 시간을 어느 정도 줄이는가?
• RQ3 제안된 방법은 패치 조립으로 인한 경계 불연속성을 어느 정도 완화할 수 있는가?
• RQ4 복잡한 공간적 구조를 지닌 실제 원격 감지 데이터셋에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 이 접근 방식은 대규모 세그멘테이션 도전 대회에서 경쟁 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 기존의 패치 틀기 및 조립 방식에 비해 레이블 추론 시간을 크게 단축시켰다.
• 두 데이터셋과 두 모델 모두에서 약간이지만 일관된 정확도 향상이 이루어졌다.
• 이 방법은 INRIA 건물 레이블링 경쟁에서 우승한 항목에 기여하여 실제 적용 가능성에서의 효과를 입증했다.
• 추론 중 더 큰 수용장역 덕분에 패치 조립으로 인한 경계 아티팩트가 상당히 감소했다.
• 아키텍처 변경이나 재학습 없이도 높은 성능를 유지했다.
• 결과적으로, 추론 입력 크기를 늘리는 것은 패치 기반 처리에 대한 실용적이고 효과적인 대안임을 보여주었다.