[논문 리뷰] SpaceMeshLab: Spatial Context Memoization and Meshgrid Atrous Convolution Consensus for Semantic Segmentation

Taehun Kim, Jinseong Kim외 1명|arXiv (Cornell University)|2021. 06. 07.

Advanced Neural Network Applications참고 문헌 17인용 수 2

한 줄 요약

이 논문은 공간적 맥락 메모라이제이션(SpaM)과 메시지드 아트로스 컨볼루션 공감(MetroCon2)을 통해 특징 표현을 향상시키는 의미 분할 프레임워크인 SpaceMeshLab을 제안한다. SpaM은 픽셀 셔플/언셔플 및 주의 모듈을 사용한 스킵 연결을 통해 공간적 맥락을 유지하며, MetroCon2는 학습 가능한 신뢰도 점수를 가진 확장률 메시지드 격자를 사용하여 미세한 다중 척도 맥락을 포착한다. 이 방법은 Cityscapes 테스트에서 82.0% mIoU, Pascal-Context 검증에서 53.5% mIoU를 기록하여 이전 최고 성능 모델을 능가한다.

ABSTRACT

Semantic segmentation networks adopt transfer learning from image classification networks which occurs a shortage of spatial context information. For this reason, we propose Spatial Context Memoization (SpaM), a bypassing branch for spatial context by retaining the input dimension and constantly communicating its spatial context and rich semantic information mutually with the backbone network. Multi-scale context information for semantic segmentation is crucial for dealing with diverse sizes and shapes of target objects in the given scene. Conventional multi-scale context scheme adopts multiple effective receptive fields by multiple dilation rates or pooling operations, but often suffer from misalignment problem with respect to the target pixel. To this end, we propose Meshgrid Atrous Convolution Consensus (MetroCon^2) which brings multi-scale scheme into fine-grained multi-scale object context using convolutions with meshgrid-like scattered dilation rates. SpaceMeshLab (ResNet-101 + SpaM + MetroCon^2) achieves 82.0% mIoU in Cityscapes test and 53.5% mIoU on Pascal-Context validation set.

연구 동기 및 목표

• 이미지넷 사전학습 백본에서의 다운샘플링으로 인한 의미 분할의 공간적 맥락 손실 문제를 해결하기 위해.
• 기존 아트로스 컨볼루션에서 고정된 확장률로 인해 발생하는 다중 척도 맥락 모듈의 불일치 문제를 극복하기 위해.
• 백본 및 보조 브랜치 간의 풍부한 의미적 정보와 공간적 맥락 정보를 융합하여 특징 표현을 향상시키기 위해.
• 다양한 객체 크기와 형태를 효과적으로 포착할 수 있는 미세한 다중 척도 맥락 모듈을 개발하기 위해.

제안 방법

• 공간적 맥락 메모라이제이션(SpaM)은 백본과 SpaM 브랜치 간의 이중 방향 특징 통신을 가능하게 하기 위해 픽셀 셔플/언셔플을 사용한 병렬 잔차 블록을 사용하여 원래의 공간 해상도를 유지한다.
• SpaM는 픽셀 셔플링 이후 공간적 맥락 주의(Spatial Context Attention, SCA) 및 채널 맥락 주의(Channel Context Attention, CCA) 모듈을 적용하여 특징 정렬 및 표현을 향상시킨다.
• 메시지드 아트로스 컨볼루션 공감(MetroCon2)은 지정된 범위 내에서 모든 조합의 확장률 메시지드 격자(i,j)를 적용하여 전체 수신 영역을 미세한 척도 다양성으로 커버한다 (예: 1–18).
• MetroCon2의 각 컨볼루션은 기여도를 동적으로 가중하기 위한 학습 가능한 신뢰도 점수를 할당받으며, 이로써 다중 척도 특징 간의 공감 학습이 가능해진다.
• MetroCon2의 각 확장률 출력은 연결되어 디코더 헤드로 전달되어 최종 의미 분할 예측을 수행한다.
• 표준 데이터 증강과 테스트 시 다중 척도 추론을 사용하여 교차 엔트로피 손실로 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 특징 맵의 전체 공간 해상도를 유지함으로써 공간적 맥락을 향상시켜 의미 분할 성능을 향상시킬 수 있는가?
• RQ2 기본 아트로스 컨볼루션의 고정된 확장률보다 더 효과적으로 다중 척도 맥락을 포착할 수 있는가?
• RQ3 학습 가능한 주의를 가진 메시지드 기반 확장률 구성이 척도 간 특징 공감을 향상시킬 수 있는가?
• RQ4 공간적 맥락 메모라이제이션과 미세한 다중 척도 맥락을 융합하면 도전적인 데이터셋에서 더 나은 성능을 낼 수 있는가?

주요 결과

• SpaceMeshLab은 Cityscapes 테스트 세트에서 82.0% mIoU를 기록하여 이전 최고 성능 모델을 초월한다.
• Pascal-Context 검증 세트에서 SpaceMeshLab은 테스트 시 증강 기능을 사용할 경우 기준 모델 대비 1.6% 향상된 53.5% mIoU를 달성한다.
• 제거 분석 결과, 메시지드 구성에서 확장률을 1에서 18까지 사용할 경우 성능이 가장 우수하며, 테스트 시 증강 기능을 사용할 경우 81.8% mIoU를 기록한다.
• 정성적 결과는 SpaceMeshLab이 철봉과 같은 작은 객체의 끊어진 연결을 줄이고, 벽과 fencing과 같은 유사 클래스의 경계 정확도를 향상시킨다.
• 테스트 시 증강 기능을 사용할 경우, 전체 1–18 확장률 메시지드 격자를 적용한 SpaceMeshLab은 DeepLabV3+ 대비 Cityscapes에서 2.3% mIoU 향상을 기록한다.
• 학습 가능한 신뢰도 점수를 가진 제안된 MetroCon2 모듈은 가장 관련성이 높은 다중 척도 특징을 효과적으로 식별하고 강조하여 정확도와 강건성을 향상시킨다.