[논문 리뷰] Attention Toward Neighbors: A Context Aware Framework for High Resolution Image Segmentation

Fahim Faisal Niloy, M. Ashraful Amin외 2명|arXiv (Cornell University)|2021. 06. 24.

Advanced Neural Network Applications참고 문헌 14인용 수 5

한 줄 요약

이 논문은 인접한 패치에서의 문맥 특징을 집계하여 고해상도 이미지 세분화를 향상시키는 문맥 인식 주의 프레임워크를 제안한다. 이는 특징 맵 크기를 늘리지 않으면서 넓은 수신 영역을 확보할 수 있게 해주며, GID 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다. 다양한 벤치마크에서 mIoU와 정확도가 크게 향상되었으며, 특히 경계 오류가 흔한 작은 패치 크기에서 두각을 나타낸다.

ABSTRACT

High-resolution image segmentation remains challenging and error-prone due to the enormous size of intermediate feature maps. Conventional methods avoid this problem by using patch based approaches where each patch is segmented independently. However, independent patch segmentation induces errors, particularly at the patch boundary due to the lack of contextual information in very high-resolution images where the patch size is much smaller compared to the full image. To overcome these limitations, in this paper, we propose a novel framework to segment a particular patch by incorporating contextual information from its neighboring patches. This allows the segmentation network to see the target patch with a wider field of view without the need of larger feature maps. Comparative analysis from a number of experiments shows that our proposed framework is able to segment high resolution images with significantly improved mean Intersection over Union and overall accuracy.

연구 동기 및 목표

• 패치 기반 방법에서 제한된 문맥으로 인해 발생하는 오류가 많은 고해상도 이미지 세분화 문제를 해결하기 위해.
• 특히 경계에서 문맥 정보가 부족한 상황에서 독립적인 패치 처리 방식의 한계를 극복하기 위해.
• 중간 특징 맵 크기를 늘리지 않으면서도 학습 효율성을 해치지 않고 세분화 정확도를 향상시키기 위해.
• 고해상도 세분화를 위한 기존 인코더-디코더 아키텍처에 원활하게 통합될 수 있도록 하기 위해.

제안 방법

• 입력 이미지는 겹치지 않는 정사각형 패치로 나뉘며, 대상 패치는 I로 표기된다.
• 인코더는 대상 패치 I와 그 8개의 인접 패치를 처리하며, 문맥 융합 과정에서 인코더 가중치를 동결한다.
• 대상 패치(Ie)와 인접 패치(Ne)의 인코딩된 특징을 재형상화하고 연결하여 9×C×HW 텐서를 형성한다.
• 공간 주의를 적용하기 위해 Ie와 Ne 간의 내적곱을 통해 상관관계 가중치 행렬 Wc를 계산하고, 마지막 축에 대해 소프트맥스를 적용하여 특징 간 상호의존도를 측정한다.
• 문맥 특징은 Wc를 Ne에 적용하고 가중치가 부여된 인접 패치 특징을 통합하여 Ie에 장거리 문맥을 강화함으로써 계산된다.
• 강화된 특징은 디코더로 전달되어 세분화를 수행하며, 특징 맵 차원을 확장하지 않으면서도 효과적인 수신 영역을 넓힐 수 있도록 한다.

실험 결과

연구 질문

• RQ1 이웃 패치의 문맥 정보를 통합함으로써 고해상도 이미지 세분화 정확도를 향상시킬 수 있는가?
• RQ2 제안된 주의 메커니즘이 특징 맵 크기를 늘리지 않으면서도 패치 기반 세분화에서 경계 오류를 줄일 수 있는가?
• RQ3 이 프레임워크는 기존의 인코더-디코더 아키텍처에 효과적으로 통합될 수 있는가?
• RQ4 작은 패치 크기를 가진 매우 고해상도 이미지에서 기준 패치 기반 방법에 비해 이 방법은 어떻게 성능을 내는가?
• RQ5 이 프레임워크는 GID와 같은 벤치마크 데이터셋에서 최신 기술 수준 성능을 달성하는가?

주요 결과

• 제안된 프레임워크는 GID 데이터셋에서 최신 기술 수준의 평균 교차율(mIoU)을 달성하여 이전 방법들, 특히 PT-GID를 초월한다.
• JSRT 흉부 X-ray 데이터셋에서, 이 방법은 기준 모델 대비 mIoU를 최대 12.5% 향상시키고 전체 정확도를 최대 11.5% 향상시켰다.
• 다카 위성 데이터셋(DSD)에서는 모든 패치 크기에서 mIoU와 전체 정확도가 일관되게 향상되었으며, 특히 작은 패치에서 가장 두드러진 성과를 보였다.
• 작은 패치 세분화에서 이웃 패치의 문맥 인식을 제공함으로써 경계 오류를 줄였으며, 이는 경계 픽셀 수가 내부 픽셀 수보다 높은 경우 尤히 유용하다.
• GID 데이터셋에서 이 방법은 주거지(97.57%), 농경지(92.97%), 산림(84.64%), 잔디밭(59.12%), 수역(95.03%) 클래스에서 각각 최고 성능을 기록했으며, 다섯 개 클래스 중 네 개에서 모든 경쟁 방법을 앞섰다.
• 기본 패치 기반 방법이 경계 픽셀 수가 과도하게 많아 높은 오류율을 보이는 작은 패치 크기(예: 64×64)에서도 이 프레임워크는 높은 성능을 유지한다.