[논문 리뷰] CTNet: Context-based Tandem Network for Semantic Segmentation

Zechao Li, Yanpeng Sun외 1명|arXiv (Cornell University)|2021. 04. 20.

Advanced Neural Network Applications참고 문헌 58인용 수 5

한 줄 요약

CTNet는 채널 및 공간적 맥락 상호의존성을 동시에 모델링하기 위해 채널 맥락 모듈(CC M)과 공간 맥락 모듈(SCM)을 갖춘 새로운 타 tandem 네트워크를 제안한다. 상호작용적 특징 정련을 통해 성능을 향상시키며, PASCAL VOC2012에서 85.3% mIoU, PASCAL-Context에서 55.5% mIoU를 달성하여 최신 기술 수준(SOTA)을 확보한다.

ABSTRACT

Contextual information has been shown to be powerful for semantic segmentation. This work proposes a novel Context-based Tandem Network (CTNet) by interactively exploring the spatial contextual information and the channel contextual information, which can discover the semantic context for semantic segmentation. Specifically, the Spatial Contextual Module (SCM) is leveraged to uncover the spatial contextual dependency between pixels by exploring the correlation between pixels and categories. Meanwhile, the Channel Contextual Module (CCM) is introduced to learn the semantic features including the semantic feature maps and class-specific features by modeling the long-term semantic dependence between channels. The learned semantic features are utilized as the prior knowledge to guide the learning of SCM, which can make SCM obtain more accurate long-range spatial dependency. Finally, to further improve the performance of the learned representations for semantic segmentation, the results of the two context modules are adaptively integrated to achieve better results. Extensive experiments are conducted on three widely-used datasets, i.e., PASCAL-Context, ADE20K and PASCAL VOC2012. The results demonstrate the superior performance of the proposed CTNet by comparison with several state-of-the-art methods.

연구 동기 및 목표

• 기존 방법들이 채널 및 공간 맥락을 모두 충분히 활용하지 못하는 한계를 해결한다.
• 공간 맥락 방법의 '카테고리 필드 부족' 문제와 채널 맥락 방법의 '픽셀 필드 부족' 문제를 두 모odal의 통합을 통해 극복한다.
• 채널 및 공간 맥락 모듈 간 이중 방향 특징 통신을 통해 분할 정확도를 향상시킨다.
• SCM에서 효율적인 자기주의 메커니즘을 개발하여 계산 비용을 줄이면서도 성능을 유지한다.
• 다양한 차원의 맥락 표현을 적응형 융합함으로써 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 전체 특징 집합을 사용하여 채널 간 장기적 의미적 의존성을 모델링하고, 클래스별 특징을 학습하는 채널 맥락 모듈(CCM)을 도입한다.
• 새로운 자기주의 메커니즘을 갖춘 공간 맥락 모듈(SCM)을 설계하여 픽셀 간 장거리 공간적 의존성을 효율적으로 캡처한다.
• CCM의 특징를 사전 지식으로 사용하여 SCM의 학습을 유도하는 타 tandem 학습 프레임워크를 구축함으로써 공간 맥락 정확도를 향상시킨다.
• 학습 가능한 가중치를 사용하여 CCM과 SCM의 출력을 적응형 융합하여 채널 및 공간 맥락 기여도를 균형 잡고 분할 성능을 향상시킨다.
• 초기 특징을 추출하기 위해 사전 학습된 백본 네트워크를 활용하고, 이후 CCM 및 SCM 처리를 통해 특징 표현을 정교화한다.
• 증강된 데이터셋에서 사전 학습한 후 원본 데이터셋에서 미세조정을 통해 일반화 능력과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 채널 및 공간 맥락을 동시에 모델링하는 것이 단일 맥락 유형을 사용하는 방법보다 의미 분할 성능을 향상시킬 수 있는가?
• RQ2 채널 및 공간 맥락 모듈 간 상호작용적 특징 정련이 분할 정확도와 강건성에 어떤 영향을 미치는가?
• RQ3 SCM에 도입된 자기주의 메커니즘이 장거리 공간적 의존성 모델링을 유지하면서 계산 비용을 얼마나 줄일 수 있는가?
• RQ4 CCM에서 학습한 특징을 사전 지식으로 사용하면 SCM의 공간 맥락 학습이 향상되는가?
• RQ5 채널 및 공간 맥락 표현의 적응형 융합이 다양한 데이터셋 간 일반화에 기여하는가?

주요 결과

• PASCAL VOC2012에서 CTNet는 85.3% mIoU를 달성하여 OCR, DMNet, PAN과 같은 비교 기준 최신 기술 수준 방법들을 모두 능가한다.
• PASCAL-Context에서 CTNet는 55.5% mIoU를 기록하여 도전적인 장꼬리 분포 데이터셋에서도 뛰어난 성능을 보였다.
• ADE20K에서 모델은 45.94% mIoU를 확보하여 대규모이고 세분화된 분할 작업에서의 강건성을 입증하였다.
• 제거 실험 결과, CCM과 SCM 모두 기여가 뚜렷하며, 타 tandem 상호작용 메커니즘이 가장 높은 성능 향상을 이끌었다.
• 적응형 융합 전략은 채널 및 공간 맥락을 효과적으로 균형 잡아 모든 카테고리에서 일관된 성능 향상을 이끌었다.
• SCM에 제안된 자기주의 메커니즘은 표준 자기주의의 높은 계산 비용을 피하면서도 성능을 유지하는 데 성공하였다.