[논문 리뷰] TernausNetV2: Fully Convolutional Network for Instance Segmentation

Vladimir Iglovikov, Selim Seferbekov외 2명|arXiv (Cornell University)|2018. 06. 03.

Advanced Neural Network Applications인용 수 14

한 줄 요약

TernausNetV2는 고해상도 위성 영상에서 객체 경계가 겹치는 경우를 고려해 세분화 모델을 확장하여 인스턴스 세분화를 수행하는 완전 컨volution 네트워크이다. 이는 접촉하는 객체 경계를 위한 이진 출력을 추가함으로써 성능을 향상시킨다. 넓은 ResNet-38 인코더를 사용하고 다중스펙트럼 입력을 확장하며, 워터셰드 기반 후처리 단계를 거쳐 앙상블 또는 테스트 시 증강 없이도 DeepGlobe-CVPR 2018 건물 탐지 도전 대회에서 최고 성능(F1 점수 0.74)을 달성한다.

ABSTRACT

The most common approaches to instance segmentation are complex and use two-stage networks with object proposals, conditional random-fields, template matching or recurrent neural networks. In this work we present TernausNetV2 - a simple fully convolutional network that allows extracting objects from a high-resolution satellite imagery on an instance level. The network has popular encoder-decoder type of architecture with skip connections but has a few essential modifications that allows using for semantic as well as for instance segmentation tasks. This approach is universal and allows to extend any network that has been successfully applied for semantic segmentation to perform instance segmentation task. In addition, we generalize network encoder that was pre-trained for RGB images to use additional input channels. It makes possible to use transfer learning from visual to a wider spectral range. For DeepGlobe-CVPR 2018 building detection sub-challenge, based on public leaderboard score, our approach shows superior performance in comparison to other methods. The source code corresponding pre-trained weights are publicly available at https://github.com/ternaus/TernausNetV2

연구 동기 및 목표

• 고해상도 위성 영상에서 완전 컨볼루션 아키텍처를 사용하여 인스턴스 세분화를 가능하게 하는 방법을 개발하는 것.
• 기존의 RGB 기반 모델을 다중스펙트럼 입력으로 확장하여 스펙트럼 범위 간 전이 학습을 가능하게 하는 것.
• 동일한 클래스에 속하는 서로 가까이 붙어 있거나 접촉하는 객체를 세분화 출력에서 정확하게 분리할 수 있도록 하는 것.
• 앙성화 또는 테스트 시 증강 없이도 DeepGlobe-CVPR 2018 건물 탐지 도전 대회에서 최고 성능을 달성하는 것.

제안 방법

• 예측 정확도를 높이기 위해 스킵 연결을 갖춘 인코더-디코더 아키텍처를 사용하며, 내장 배치 정규화를 적용한 사전 훈련된 WideResNet-38 기반이다.
• 입력을 3개의 RGB 채널에서 11개의 다중스펙트럼 채널로 확장하여 RGB에서 더 넓은 스펙트럼 범위로의 전이 학습을 가능하게 한다.
• 모델은 두 개의 이진 마스크를 출력한다: 하나는 건물 외곽선을 위한 것이고, 다른 하나는 접촉하거나 인접한 객체 경계를 위한 것이다.
• 하이브리드 손실 함수는 이진 교차 엔트로피와 미분 가능한 소프트 Jaccard 손실(1 - J)을 조합하여 픽셀 수준의 분류와 IoU 최적화를 동시에 수행한다.
• 소프트 Jaccard 손실은 $ J = \frac{1}{n} \sum_{c=1}^{2} w_c \sum_{i=1}^{n} \left( \frac{y_i^c \hat{y}_i^c}{y_i^c + \hat{y}_i^c - y_i^c \hat{y}_i^c} \right) $로 정의되며, $ w_1 = w_2 = 1 $이다.
• 후처리 단계에서는 이진 마스크와 접촉 경계 마스크를 시드로 사용하여 워터셰드 변환을 적용하여 겹치는 인스턴스를 분리한다.

Figure 1: From left to right: RGB part of the input image, predicted binary mask in blue and touching borders in green, building instances after the watershed transform.

실험 결과

연구 질문

• RQ1 세분화를 위해 훈련된 완전 컨볼루션 네트워크가 위성 영상에서 인스턴스 세분화를 수행하도록 적응시킬 수 있는가?
• RQ2 RGB에서 다중스펙트럼 위성 데이터로의 전이 학습을 효과적으로 확장할 수 있는가?
• RQ3 간단한, 미분 가능한 손실 함수가 픽셀 수준의 정확도와 교차 과도 영역(IoU)을 동시에 향상시킬 수 있는가?
• RQ4 경계 예측 헤드를 사용한 워터셰드 변환 기반 후처리 단계가 인스턴스 분리에 있어 엔드 투 엔드 학습보다 우수한 성능을 낼 수 있는가?

주요 결과

• 모델은 DeepGlobe-CVPR 2018 건물 탐지 도전 대회에서 공개 랭킹 F1 점수 0.74를 기록하여 다른 방법들을 압도했다.
• 네트워크는 사전 훈련된 RGB 가중치에서 11채널 다중스펙트럼 입력으로 성공적으로 일반화되어 스펙트럼 간 전이 학습을 가능하게 했다.
• 접촉 경계 예측 헤드를 추가함으로써 앙상블나 테스트 시 증강 없이도 워터셰드 변환을 통해 효과적인 인스턴스 분리가 가능했다.
• 단일 GTX 1080 Ti에서 모델은 1초에 10개의 샘플을 처리하여 실시간 추론 능력을 입증했다.
• 하이브리드 손실 함수는 $ \alpha = 0.7 $에서 이진 교차 엔트로피와 소프트 Jaccard 손실을 균형 있게 조합하여 분류 정확도와 IoU 성능을 모두 향상시켰다.

Figure 2: TernausNetV2: encoder-decoder network with skipped connections that has ABN WideResnet-38 as the encoder. As an input, we have RGB + extra channels image. B1-B5 are the first five convolutional blocks of the base network that was pre-trained on the ImageNet. At every step of the decoder bl