[논문 리뷰] A Local-Global Approach to Semantic Segmentation in Aerial Images

Alina Marcu|arXiv (Cornell University)|2016. 07. 19.

Advanced Image and Video Retrieval Techniques참고 문헌 3인용 수 4

한 줄 요약

이 논문은 항공 영상에서 의미 분할을 위해 국소적이고 전반적인 시각적 맥락을 결합하는 듀얼 스트림 딥 컨volution 네트워크를 제안한다. 좁고 깊은 스트림은 국소적 특징을, 얕고 넓은 스트림은 시나리오 맥락을 처리한다. 이 모델은 매사추세츠 빌딩 데이터셋에서 최신 기술 수준의 성능을 달성하여 F-측정치를 92.3%에서 94.2%로 향상시켰으며, 상호보완적인 국소적 및 전반적 추론을 효과적으로 활용하였다.

ABSTRACT

Aerial images are often taken under poor lighting conditions and contain low resolution objects, many times occluded by other objects. In this domain, visual context could be of great help, but there are still very few papers that consider context in aerial image understanding and still remains an open problem in computer vision. We propose a dual-stream deep neural network that processes information along two independent pathways. Our model learns to combine local and global appearance in a complementary way, such that together form a powerful classifier. We test our dual-stream network on the task of buildings segmentation in aerial images and obtain state-of-the-art results on the Massachusetts Buildings Dataset. We study the relative importance of local appearance versus the larger scene, as well as their performance in combination on three new buildings datasets. We clearly demonstrate the effectiveness of visual context in conjunction with deep neural networks for aerial image understanding.

연구 동기 및 목표

• 객체가 자주 가림당하거나 해상도가 낮거나 조명 조건이 열악한 항공 영상에서의 의미 분할 과제를 해결한다.
• 특히 전반적 시나리오 이해가 항공 영상에서 인식에 어떻게 기여하는지 조사한다.
• 더 나은 분할 성능을 위해 국소적 및 전반적 특징을 상호보완적으로 통합하는 딥 러닝 모델을 개발한다.
• 실제 항공 데이터셋에서 듀얼 스트림 아키텍처를 통해 국소-전반적 상호보완성의 효과를 입증한다.
• 빌딩을 초월해 도로, 숲, 목초지, 물 등 다른 클래스로의 분할을 확장한다.

제안 방법

• 듀얼 스트림 CNN 설계: 작은 필터를 사용하는 깊고 좁은 아키텍처의 스트림은 세밀한 국소적 특징을 캡처하고, 큰 필터를 사용하는 얕고 넓은 아키텍처의 스트림은 전반적 맥락을 캡처한다.
• 항공 영상의 패치에서 두 스트림을 별도로 훈련한 후, 최종 레이어에서 특징을 융합하여 공동 분류를 수행한다.
• 두 스트림의 예측 융합을 최적화하기 위해 트리플릿 임계값 알고리즘을 사용한다.
• 픽셀 단위의 교차 엔트로피 손실을 사용하여 빌딩, 도로 등 다양한 클래스의 커스텀 데이터셋에서 모델을 엔드 투 엔드로 훈련시킨다.
• 출력 레이어를 확장하여 다중 클래스 의미 분할을 구현한다.
• 다양한 항공 영상 환경에서 일반화 능력을 향상시키기 위해 데이터 증강 및 패치 기반 훈련을 적용한다.

실험 결과

연구 질문

• RQ1 국소적 및 전반적 시각적 맥락을 융합하면 항공 영상에서 의미 분할 정확도가 어떻게 향상되는가?
• RQ2 빌딩이나 도로와 같은 객체를 인식할 때 국소적 외관과 전반적 시나리오 맥락 중 어느 쪽이 더 기여하는가?
• RQ3 국소 및 전반적 경로에 별도의 아키텍처를 가진 듀얼 스트림 CNN 아키텍처가 단일 스트림 모델보다 우월한가?
• RQ4 이미지 품질, 객체 밀도, 가림 정도가 다양한 항공 데이터셋에서 모델의 성능은 어떠한가?
• RQ5 국소-전반적 상호보완성은 숲, 물, 목초지와 같은 다른 의미 클래스로 일반화될 수 있는가?

주요 결과

• 제안된 듀얼 스트림 모델은 매사추세츠 빌딩 데이터셋에서 기존 최고 성능인 92.3%에서 94.2%로 향상된 최신 기술 수준의 F-측정치를 달성하였다.
• 모델은 특히 고밀도 도시 지역에서 소형, 가림당하거나 대trast가 낮은 빌딩의 탐지에 전반적 맥락이 상당히 기여함을 입증하였다.
• 루마니아 도로 데이터셋에서 높은 F-측정치를 기록하여, 열악한 조명 조건과 낮은 해상도 조건에서도 모델의 강건성을 확인하였다.
• 제거 분석 결과, 국소적 및 전반적 특징을 융합한 모델이 각각의 스트림만 사용할 경우보다 더 뛰어난 성능을 보였으며, 두 경로 간의 상호보완성이 확인되었다.
• 모델은 다중 클래스 분할로 확장되었으며 숲, 물, 목초지 등에서 뛰어난 성능을 기록하여 광범위한 적용 가능성을 보였다.
• 저자들은 항공 영상 이해 분야의 향후 벤치마킹을 위해 두 개의 새로운 데이터셋—루마니아 도로 데이터셋과 사투 마레 주택 수 세기 데이터셋—을 제공하였다.