[논문 리뷰] Ship Instance Segmentation From Remote Sensing Images Using Sequence Local Context Module

Yingchao Feng, Wenhui Diao외 4명|arXiv (Cornell University)|2019. 04. 22.

Advanced Neural Network Applications참고 문헌 7인용 수 4

한 줄 요약

이 논문은 원격 감지 영상에 대한 새로운 인스턴스 세그멘테이션 프레임워크인 SLCMASK-Net을 제안하며, 중첩된 확장 컨볼루션을 통해 다중 척도의 맥락 학습을 향상시키는 순차적 국소 맥락(SLC) 모듈을 도입한다. SLC 모듈은 마스크 수준의 AP를 마스크 R-CNN 대비 10.98% 향상시켜 고해상도 QuickBird 데이터셋에서 78.61%의 AP로 최신 기술 수준 성능을 달성하며, 서로 가까이 밀접하게 정렬된 선박 간의 혼동을 효과적으로 줄인다.

ABSTRACT

The performance of object instance segmentation in remote sensing images has been greatly improved through the introduction of many landmark frameworks based on convolutional neural network. However, the object densely issue still affects the accuracy of such segmentation frameworks. Objects of the same class are easily confused, which is most likely due to the close docking between objects. We think context information is critical to address this issue. So, we propose a novel framework called SLCMASK-Net, in which a sequence local context module (SLC) is introduced to avoid confusion between objects of the same class. The SLC module applies a sequence of dilation convolution blocks to progressively learn multi-scale context information in the mask branch. Besides, we try to add SLC module to different locations in our framework and experiment with the effect of different parameter settings. Comparative experiments are conducted on remote sensing images acquired by QuickBird with a resolution of $0.5m-1m$ and the results show that the proposed method achieves state-of-the-art performance.

연구 동기 및 목표

• 원격 감지 영상에서 밀집된 선박들이 서로 가까이 정렬되어 있을 때 발생하는 객체 혼동 문제를 해결하기 위해.
• 마스크 브랜치에서 맥락 인식 특징 학습을 향상시켜 마스크 수준의 성능을 향상시키기 위해.
• 계산 부담을 증가시키지 않으면서 다중 척도 공간 맥락을 포착할 수 있는 경량이면서 효과적인 맥락 모듈을 설계하기 위해.
• 모듈의 위치, 확장률, 아키텍처 구성이 세그멘테이션 정확도에 미치는 영향을 평가하기 위해.

제안 방법

• 프레임워크는 백본으로 ResNet-101과 FPN을 사용하는 마스크 R-CNN 기반으로, 공간 정밀도를 유지하기 위해 RoIAlign을 사용한다.
• 마스크 브랜치에 새로운 순차적 국소 맥락(SLC) 모듈을 도입하며, 증가하는 확장률(1, r₁, r₂)을 가진 세 개의 중첩된 확장 컨볼루션 블록으로 구성된다.
• 각 블록은 1×1 컨볼루션과 3×3 확장 컨볼루션을 적용하고, 요소별 덧셈을 통해 출력을 융합하여 다중 척도 맥락을 집계한다.
• SLC 모듈은 큰 확장률로 인한 정보 손실을 방지하면서 점진적으로 다양한 척도에서 맥락을 학습하도록 설계되었다.
• 네트워크 내 다양한 위치(분류 및 회귀 브랜치 포함)에 모듈을 평가하였으며, 확장률과 층 수에 대한 추론 연구를 수행하였다.
• 기준 모델과의 공정한 비교를 위해 데이터 증강 및 최적화된 앵커 설정을 사용하였다.

실험 결과

연구 질문

• RQ1 다중 척도 맥락 학습은 원격 감지 인스턴스 세그멘테이션에서 밀집된 선박 간의 혼동을 줄이는 데 기여하는가?
• RQ2 표준 ASPP나 인셉션 모듈과 비교해 볼 때, 순차적 적용 방식의 확장 컨볼루션은 공간 맥락을 더 효과적으로 포착하는가?
• RQ3 선박 세그멘테이션에서 마스크 AP를 최대화하기 위해 SLC 모듈의 최적의 위치와 구성은 무엇인가?
• RQ4 맥락 강화는 경계 상자 검출 성능보다 마스크 수준의 AP에 더 큰 영향을 미치는가?

주요 결과

• 제안된 SLCMASK-Net은 마스크 수준의 AP가 78.61%에 달하여 기준 마스크 R-CNN(67.63%) 대비 10.98% 향상되었다.
• SLC 모듈은 다른 맥락 모듈보다 뛰어난 성능을 보였으며, 85.68%의 리콜과 78.61%의 AP를 기록하여 ASPP(2,4,6)(73.48% AP)와 CCL(73.36% AP)를 모두 초월했다.
• SLC 모듈을 마스크 브랜치에 배치할 경우 최고의 성능을 기록하였으며, 분류 및 회귀 브랜치에 추가할 경우 정확도가 떨어졌다.
• 확장률로 2와 3을 사용할 경우 최적의 결과를 얻었으며, 더 높은 확장률(예: 4와 6)은 세밀한 맥락 정보 손실과 1×1 컨볼루션으로의 근접으로 인해 성능 저하를 초래했다.
• 추론 연구 결과, 3개의 레이어를 융합하는 것이 2개 레이어 융합보다 우수하며, r₁=2, r₂=3일 때 최고의 성능을 기록했다.
• SLC 모듈은 마스크 수준의 AP를 10.98% 향상시켰지만, 박스 수준의 AP는 단지 3.0점 향상시켜, 주로 마스크 정밀도 향상에 기여하는 것으로 확인되었다.