[논문 리뷰] BiSeNet: Bilateral Segmentation Network for Real-time Semantic Segmentation

Changqian Yu, Jingbo Wang외 4명|arXiv (Cornell University)|2018. 08. 02.

Advanced Neural Network Applications참고 문헌 54인용 수 126

한 줄 요약

BiSeNet은 공간 경로(SP)와 맥락 경로(CP)로 구성된 이중 경로 아키텍처와 특징 융합 모듈(Feature Fusion Module) 및 주의 정제 모듈(Attention Refinement Module)을 도입하여 높은 정확도로 실시간 의미 분할(real-time semantic segmentation)을 달성합니다. Titan XP에서 Cityscapes 테스트의 105 FPS에서 평균 IOU 68.4%를 보고합니다.

ABSTRACT

Semantic segmentation requires both rich spatial information and sizeable receptive field. However, modern approaches usually compromise spatial resolution to achieve real-time inference speed, which leads to poor performance. In this paper, we address this dilemma with a novel Bilateral Segmentation Network (BiSeNet). We first design a Spatial Path with a small stride to preserve the spatial information and generate high-resolution features. Meanwhile, a Context Path with a fast downsampling strategy is employed to obtain sufficient receptive field. On top of the two paths, we introduce a new Feature Fusion Module to combine features efficiently. The proposed architecture makes a right balance between the speed and segmentation performance on Cityscapes, CamVid, and COCO-Stuff datasets. Specifically, for a 2048x1024 input, we achieve 68.4% Mean IOU on the Cityscapes test dataset with speed of 105 FPS on one NVIDIA Titan XP card, which is significantly faster than the existing methods with comparable performance.

연구 동기 및 목표

• 실시간 의미 분할을 위해 공간 세부 정보를 손실 없이 유지하거나 수용 필드를 확대하는 동기를 제시한다.
• 공간 정보를 보존하고 수용 필드를 확장하기 위해 Spatial Path와 Context Path로 구성된 Bilateral Segmentation Network(BiSeNet)을 제안한다.
• 특징을 효율적으로 융합하고 정제하기 위한 모듈(Feature Fusion Module 및 Attention Refinement Module)을 개발한다.
• 도시의 시스케이프 Cityscapes, CamVid, COCO-Stuff에서 BiSeNet을 평가하여 속도-정확도 밸런스를 입증한다.
• 각 구성요소가 성능에 미치는 영향을 이해하기 위한 소거 연구(ablation studies)를 제공한다.

제안 방법

• 고해상도 공간 정보를 보존하기 위한 Spatial Path(세 개의 2-stride 합성곱) 도입(1/8 스케일).
• 가벼운 백본(Xception39)을 사용하고 마지막 두 스테이지의 U-형 융합으로 큰 수용 범위를 제공하는 Context Path 도입.
• Context Path의 꼬리에 Global Average Pooling 가지를 추가하여 전역 맥락으로 수용 범위를 확장.
• SP와 CP 특징을 연결하고 BatchNorm, 전역 풀링, SENet과 유사한 게이팅을 적용하여 특징을 재가중화하는 Feature Fusion Module(FFM)을 제안.
• 전역 맥 context를 사용하여 주의 벡터를 계산하고 CP 특징을 업샘플링 없이 정제하는 Attention Refinement Module(ARM)을 제안.
• 최종 출력에 대한 주손실(principal loss)과 alpha = 1인 균형 매개변수를 가진 CP 단계의 보조 손실(auxiliary losses)로 공동 손실로 학습한다.
• CP 출력에 대한 보조 심층 감독 방식(auxiliary deep supervision scheme)을 사용하여 학습을 안내한다.

실험 결과

연구 질문

• RQ1 이중 경로 아키텍처가 공간 세부 정보를 보존하면서 큰 수용 범위를 제공하여 실시간 의미 분할에서 심각한 정확도 저하 없이 가능할까?
• RQ2 FFM 및 ARM과 같은 전용 융합 및 정제 모듈이 표준 단일 경로나 U-형 설계에 비해 속도-정확도 트레이드를 개선할까?
• RQ3 전역 평균 풀링 및 보조 손실의 기여가 BiSeNet의 표준 벤치마크에서 최종 성능에 어떤 영향을 주는가?

주요 결과

• BiSeNet은 Cityscapes에서 실시간 성능이 강하게 나타나며, 테스트 세트에서 68.4% Mean IOU를 높은 FPS로 달성했습니다(2048x1024 입력에 대해 Titan XP에서 105 FPS로 보고).
• Spatial Path 단독으로 CP 기반 기준선보다 평균 IOU를 약 1.4포인트 개선합니다.
• CP+SP가 FFM 및 GP(전역 풀링)와 결합될 때 68.42%로, ARM 정제 단계가 추가되면 Ablation에서 Cityscapes 검증 세트에서 71.40%에 도달하여 모듈 추가에 따른 점진적 이득을 보입니다.
• CP 꼬리에 전역 평균 풀링을 삽입하면 명백한 이득이 나타나며 67.42%에서 68.42%로 상승합니다.
• BiSeNet은 CamVid 및 COCO-Stuff에서 경쟁력 있는 결과를 보여주며 데이터셋 간 일반화 가능성을 강조합니다.
• 이 방법은 Cityscapes에서 비슷한 정확도 대비 많은 선행 방법들보다 훨씬 높은 속도를 유지합니다.