[논문 리뷰] Dual Local-Global Contextual Pathways for Recognition in Aerial Imagery

Alina Marcu, Marius Leordeanu|arXiv (Cornell University)|2016. 05. 18.

Video Surveillance and Tracking Methods참고 문헌 2인용 수 24

한 줄 요약

이 논문은 항공 영상에서 의미적 분할을 위해 국소 객체 외관과 전반적 환경 맥락을 동시에 학습하는 이중 스트림 딥 컨volution 신경망(LG-Seg)을 제안한다. 국소 특징을 위한 VGG-Net과 전역 맥락을 위한 수정된 AlexNet을 조합함으로써, 이 모델은 매사추세츠 빌딩 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 국소 및 전역 추론의 상호보완성이 차폐 또는 저해상도와 같은 도전적인 조건에서 인식 성능을 크게 향상시킴을 입증한다.

ABSTRACT

Visual context is important in object recognition and it is still an open problem in computer vision. Along with the advent of deep convolutional neural networks (CNN), using contextual information with such systems starts to receive attention in the literature. At the same time, aerial imagery is gaining momentum. While advances in deep learning make good progress in aerial image analysis, this problem still poses many great challenges. Aerial images are often taken under poor lighting conditions and contain low resolution objects, many times occluded by trees or taller buildings. In this domain, in particular, visual context could be of great help, but there are still very few papers that consider context in aerial image understanding. Here we introduce context as a complementary way of recognizing objects. We propose a dual-stream deep neural network model that processes information along two independent pathways, one for local and another for global visual reasoning. The two are later combined in the final layers of processing. Our model learns to combine local object appearance as well as information from the larger scene at the same time and in a complementary way, such that together they form a powerful classifier. We test our dual-stream network on the task of segmentation of buildings and roads in aerial images and obtain state-of-the-art results on the Massachusetts Buildings Dataset. We also introduce two new datasets, for buildings and road segmentation, respectively, and study the relative importance of local appearance vs. the larger scene, as well as their performance in combination. While our local-global model could also be useful in general recognition tasks, we clearly demonstrate the effectiveness of visual context in conjunction with deep nets for aerial image understanding.

연구 동기 및 목표

• 딥 러닝 모델에 시각적 맥락을 통합하여 항공 영상에서의 의미적 분할 성능을 향상시키는 것.
• 저해상도, 차폐 또는 열악한 조명 조건으로 인해 국소 특징이 모호해질 경우 전역 환경 맥락이 인식 정확도를 향상시키는지 조사하는 것.
• 명시적 지도 없이 국소 및 전역 시각적 맥락의 상호보완적 표현을 학습할 수 있는 이중 스트림 아키텍처를 설계하는 것.
• 실제 항공 데이터셋에서 공동 국소-전역 추론의 효과성을 입증하며, 건물 및 도로 분할을 위한 새로운 벤치마크를 제공하는 것.

제안 방법

• 모델은 두 개의 병렬 경로를 사용한다: 작은 영상 조각에서 국소 고해상도 특징을 추출하기 위해 미세조정된 VGG-Net 기반의 경로.
• 두 번째 경로는 더 큰 영역의 전역 영역을 처리하기 위해 수정된 AlexNet을 사용하여 맥락 기반의 환경 정보를 캡처한다.
• 양 경로의 특징는 최종 완전 연결층에서 연결되어 공동 추론 및 갈등 해결을 가능하게 한다.
• 모델은 픽셀 수준의 애너테이션을 기반으로 의미적 분할을 위한 공동 손실 함수를 사용해 엔드 투 엔드로 훈련된다.
• 접근 분석을 위해 추론 시 한 경로를 마스킹하고, 빈 평균 이미지를 사용하여 각 스트림의 기여도를 고립시켰다.
• 아키텍처는 매사추세츠 빌딩 데이터셋과 건물 및 도로 분할을 위한 새로 도입된 두 개의 데이터셋에서 평가되었다.

실험 결과

연구 질문

• RQ1 국소 특징이 차폐 또는 저해상도로 악화되었을 때, 전역 시각적 맥락이 항공 영상에서 의미적 분할 정확도를 크게 향상시킬 수 있는가?
• RQ2 국소 및 전역 경로는 최종 분할 출력에 어떻게 다른 기여를 하는가? 그리고 공동 훈련을 통해 이들의 역할이 자동으로 도출되는가?
• RQ3 국소 외관과 전역 환경 맥락을 융합하면, 국소 특징에만 의존하는 모델보다 성능이 향상되는가?
• RQ4 다양한 항공 영상 시나리오에서 국소 외관과 전역 맥락의 상대적 중요도는 어떻게 다른가?

주요 결과

• 제안된 LG-Seg 모델은 매사추세츠 빌딩 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 국소 외관에만 의존하는 기존 방법들을 능가한다.
• 국소 경로만 활성화된 경우, 모델는 개별 건물의 날카우면서도 세밀한 분할을 생성하여 강력한 국소 특징 학습 능력을 보여준다.
• 전역 경로만 활성화된 경우, 모델는 주거 지역을 유사하게 반영하는 부드럽고 일관된 분할을 생성하며, 전용 주거 지역 분류기와 유사한 성능을 보인다.
• 훈련 과정에서 명시적 지도 없이도 두 경로는 자동으로 상호보완적인 역할을 학습한다 — 국소 경로는 세부 정보를 담당하고, 전역 경로는 시나리오 수준의 일관성을 담당한다.
• 모델는 차폐 및 저조도 조건에서도 강건성을 보이며, 전역 경로가 저밀도 지역에서 국소 착각을 억제함으로써 성능을 향상시킨다.
• 접근 분석 결과, 국소 및 전역 특징의 조합이 각각의 경로만 사용할 경우보다 열등한 성능을 내는 것으로 확인되었다.