[논문 리뷰] SCTNet: Single-Branch CNN with Transformer Semantic Information for Real-Time Segmentation

Zhengze Xu, Dongyue Wu외 4명|arXiv (Cornell University)|2023. 12. 28.

Advanced Neural Network Applications인용 수 6

한 줄 요약

SCTNet는 실시간 세분화를 위한 단일 브랜치 CNN을 제안하며, 훈련 전용 트랜스포머 브랜치를 활용해 경량화된 CNN에 장거리 문맥적 의미를 주입한다. 이는 새로운 CFBlock와 의미 정렬 모듈을 통해 이루어지며, 추론 시 추가 브랜치의 오버헤드 없이 Cityscapes, ADE20K, COCO-Stuff-10K에서 최신 기술 수준의 정확도-속도 트레이드오프를 달성한다.

ABSTRACT

Recent real-time semantic segmentation methods usually adopt an additional semantic branch to pursue rich long-range context. However, the additional branch incurs undesirable computational overhead and slows inference speed. To eliminate this dilemma, we propose SCTNet, a single branch CNN with transformer semantic information for real-time segmentation. SCTNet enjoys the rich semantic representations of an inference-free semantic branch while retaining the high efficiency of lightweight single branch CNN. SCTNet utilizes a transformer as the training-only semantic branch considering its superb ability to extract long-range context. With the help of the proposed transformer-like CNN block CFBlock and the semantic information alignment module, SCTNet could capture the rich semantic information from the transformer branch in training. During the inference, only the single branch CNN needs to be deployed. We conduct extensive experiments on Cityscapes, ADE20K, and COCO-Stuff-10K, and the results show that our method achieves the new state-of-the-art performance. The code and model is available at https://github.com/xzz777/SCTNet

연구 동기 및 목표

• 이중 브랜치 아키텍처의 계산 비용을 제거함으로써 실시간 세분화에서의 속도-정확도 트레이드오프 문제를 해결한다.
• 추론 속도를 희생시키지 않은 채 가벼운 단일 브랜치 CNN이 풍부한 장거리 문맥을 학습할 수 있도록 한다.
• 지식 정렬을 효과적으로 수행하기 위해 훈련 중에 CNN과 트랜스포머 특징 간의 의미 갭을 줄이기 위한 방법을 제안한다.
• 실시간 추론을 유지하면서 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 장거리 문맥적 특징을 추출하기 위해 추론 시 사용되지 않는 훈련 전용 트랜스포머 브랜치를 도입한다.
• CFBlock(컨벌루션-포스터 블록)을 제안하며, 깊이 분리형 및 포인트 와이즈 컨벌루션만을 사용해 자기 주의 메커니즘을 모방함으로써 장거리 의존성을 포착한다.
• 공유 디코더 헤드와 특징 정제를 통해 트랜스포머와 CNN 브랜치 간의 특징을 정렬하기 위해 의미 정보 정렬 모듈(SIAM)을 설계한다.
• 트랜스포머 브랜치로부터의 지식 정렬을 통해 단일 브랜치 CNN을 훈련시켜, 추가적인 추론 비용 없이 고수준의 의미를 학습하도록 한다.
• 추론 시에는 단일 브랜치 CNN만을 배포하여 높은 효율성과 실시간 성능를 확보한다.
• 디코더에서 특징 공유와 다중 스케일 융합을 활용해 공간적 세부 정보를 유지하면서 글로벌 컨텍스트를 통합한다.

실험 결과

연구 질문

• RQ1 이중 브랜치 아키텍처에 의존하지 않고도 단일 브랜치 CNN이 실시간 세분화에서 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ2 트랜스포머 기반 의미 브랜치는 훈련 중에 경량 CNN의 장거리 문맥 모델링 능력을 얼마나 효과적으로 향상시킬 수 있는가?
• RQ3 CNN과 트랜스포머 브랜치 간의 특징 정렬에 가장 효과적인 메커니즘은 무엇인가?
• RQ4 제안된 방법은 기존의 이중 브랜치 실시간 모델을 능가하면서도 실시간 추론 속도를 유지할 수 있는가?

주요 결과

• SCTNet는 Cityscapes 검증 세트에서 최신 기술 수준의 성능을 달성하며, 새로운 속도-정확도 선을 설정한다.
• ADE20K에서 SCTNet-B는 SegFormer-B0, RTFormer-B, TopFormer-B, SeaFormer-B보다 더 세밀한 마스크와 더 정확한 대규모 영역 예측을 한다.
• Cityscapes에서 SCTNet-B는 전봇대, 신호등, 표지판과 같은 얇고 작은 물체의 경계 정확도에서 SeaFormer-B와 STDC2를 능가한다.
• SCTNet는 Cityscapes에서 32.8 FPS를 기록하여 실시간 기준인 30 FPS를 초월하며, 뛰어난 추론 효율성을 보여준다.
• 시각화 결과는 SCTNet가 특히 미세한 구조를 포함한 복잡한 장면에서 더 일관되고 세밀한 세분화 마스크를 생성함을 확인한다.
• 절단 분석 결과 CFBlock와 SIAM이 성능 향상에 필수적임을 입증하였으며, 특히 SIAM이 브랜치 간 의미 갭을 크게 줄였다.