[논문 리뷰] Vortex Pooling: Improving Context Representation in Semantic Segmentation

Chen-Wei Xie, Hong-Yu Zhou외 1명|arXiv (Cornell University)|2018. 04. 17.

Advanced Neural Network Applications참고 문헌 23인용 수 34

한 줄 요약

이 논문은 세분화된 풀링을 통해 가까운 맥락적 특징을 우선시하고, 굵은 풀링을 통해 먼 맥락적 특징을 우선시하는 Vortex Pooling을 제안한다. 이는 의미 분할을 위한 새로운 맥락 집약 모듈로, DeepLab v3의 ASPP 모듈을 대체함으로써 PASCAL VOC 2012 검증 세트에서 84.2% mIoU, 테스트 세트에서 86.3% mIoU를 달성하며, DeepLab v3보다 각각 1.5%와 0.6% 향상되었고, 유사한 추론 속도(10.13 FPS)를 유지한다.

ABSTRACT

Semantic segmentation is a fundamental task in computer vision, which can be considered as a per-pixel classification problem. Recently, although fully convolutional neural network (FCN) based approaches have made remarkable progress in such task, aggregating local and contextual information in convolutional feature maps is still a challenging problem. In this paper, we argue that, when predicting the category of a given pixel, the regions close to the target are more important than those far from it. To tackle this problem, we then propose an effective yet efficient approach named Vortex Pooling to effectively utilize contextual information. Empirical studies are also provided to validate the effectiveness of the proposed method. To be specific, our approach outperforms the previous state-of-the-art model named DeepLab v3 by 1.5% on the PASCAL VOC 2012 val set and 0.6% on the test set by replacing the Atrous Spatial Pyramid Pooling (ASPP) module in DeepLab v3 with the proposed Vortex Pooling. Moreover, our model (10.13FPS) shares similar computation cost with DeepLab v3 (10.37 FPS).

연구 동기 및 목표

• 완전 컨volution 네트워크에서 기존 맥락 집약 모듈의 한계를 해결하여, 적절한 해상도로 먼 맥락적 특징과 가까운 맥락적 특징을 효과적으로 활용하지 못하는 문제를 해결한다.
• 계산 비용을 크게 증가시키지 않으면서 맥락 표현을 향상시켜 의미 분할 성능을 향상시킨다.
• 목표 픽셀 근처의 특징에 더 높은 주의를 기울이는 풀링 기법을 개발하면서도 효율적인 계산을 유지한다.
• DeepLab v3의 Atrous Spatial Pyramid Pooling (ASPP) 모듈을 더 효과적인 맥락 집약 전략으로 대체한다.
• DeepLab v3와 유사한 추론 속도를 유지하면서 PASCAL VOC 2012에서 최신 기준 성능을 달성한다.

제안 방법

• 목표 픽셀에서의 공간적 거리에 따라 다른 풀링 전략을 적용하는 다중 스케일, 다중 수신장 풀링 모듈인 Vortex Pooling을 제안한다.
• 목표 픽셀 근처의 특징에 대해 작은 커널의 평균 풀링을 사용하여 세밀하고 정밀한 맥락 정보를 캡처한다.
• 먼 거리의 특징에 대해 큰 커널의 평균 풀링을 사용하여 굵직한 그러나 전역적인 맥락 정보를 확보한다.
• 기능 추출을 위한 모듈 A와 맥락 집약을 위한 모듈 B를 설계하고, 최적화된 더 빠른 변형인 모듈 C를 제안한다.
• 백본(ResNet-101)과 학습 프rotocol를 유지하면서, DeepLab v3 프레임워크에 Vortex Pooling을 통합하여 ASPP 모듈을 대체한다.
• MS COCO와 PASCAL VOC 2012 데이터셋을 사용하여 모델을 학습하고, 공식 PASCAL VOC 2012 학습 세트에서 데이터 증강 및 피니팅을 수행한다.

실험 결과

연구 질문

• RQ1 어떻게 공간적으로 먼 특징과 가까운 특징을 더 효과적으로 활용함으로써 의미 분할에서 맥락 표현을 향상시킬 수 있는가?
• RQ2 근접 및 원거리 맥락적 특징을 구분하는 풀링 기법이 기존의 Atrous Spatial Pyramid Pooling보다 우월한 성능을 낼 수 있는가?
• RQ3 세밀한 풀링을 근접 특징에, 굵은 풀링을 먼 특징에 적용하는 계층적 풀링 전략이 더 높은 분할 정확도를 이끌 수 있는가?
• RQ4 유의미하게 증가하지 않는 추론 시간을 유지하면서 이러한 모듈을 효율적으로 구현할 수 있는가?
• RQ5 Vortex Pooling은 PASCAL VOC 2012와 같은 표준 벤치마크에서 최신 기준 모델들에 비해 어느 정도 성능 향상을 이룰 수 있는가?

주요 결과

• Vortex Pooling은 PASCAL VOC 2012 검증 세트에서 평균 교차율(mIoU) 84.2%를 달성하여 DeepLab v3보다 1.5% 높은 성능을 보였다.
• PASCAL VOC 2012 테스트 세트에서는 86.3% mIoU를 기록하여 DeepLab v3보다 0.6% 향상된 성능을 보였다.
• 제안된 방법은 높은 추론 효율성을 유지하여, 단일 NVIDIA TITAN Xp GPU에서 10.13 FPS의 속도를 달성했으며, DeepLab v3의 10.37 FPS와 유사한 성능을 보였다.
• 테스트 세트에서 이전 최신 기준 모델인 PSPNet(85.4% mIoU)과 ResNet-38_MS_COCO(84.9% mIoU)를 모두 초월하는 성능을 보였다.
• 시각화 결과에 따르면, Vortex Pooling은 특히 복잡한 환경에서 의자나 테이블과 같은 어려운 객체를 더 잘 식별함을 보였다.
• 제거 실험 결과, 세밀한 풀링과 굵은 풀링 구성 요소 모두가 성능 향상에 기여함을 확인하여, 공간적으로 적응형 맥락 집약 설계 원칙의 타당성을 입증했다.