[논문 리뷰] CFPNet: Channel-wise Feature Pyramid for Real-Time Semantic Segmentation

Ange Lou, Murray H. Loew|arXiv (Cornell University)|2021. 03. 22.

Advanced Neural Network Applications참고 문헌 33인용 수 5

한 줄 요약

CFPNet는 복수의 채널을 통해 확장된 컨볼루션을 사용하여 다중 척도의 맥락을 효율적으로 포착함으로써 실시간 세분화 성능을 향상시키는 채널별 특징 피라미드(CFP) 모듈을 도입한다. Cityscapes에서 CFPNet는 단지 0.55만 개의 파라미터와 2.5MB의 메모리만을 사용하여 1024×2048 해상도의 이미지에서 단일 RTX 2080Ti GPU에서 30 FPS로 실행되며, 클래스별 mIoU가 70.1%에 도달한다.

ABSTRACT

Real-time semantic segmentation is playing a more important role in computer vision, due to the growing demand for mobile devices and autonomous driving. Therefore, it is very important to achieve a good trade-off among performance, model size and inference speed. In this paper, we propose a Channel-wise Feature Pyramid (CFP) module to balance those factors. Based on the CFP module, we built CFPNet for real-time semantic segmentation which applied a series of dilated convolution channels to extract effective features. Experiments on Cityscapes and CamVid datasets show that the proposed CFPNet achieves an effective combination of those factors. For the Cityscapes test dataset, CFPNet achieves 70.1% class-wise mIoU with only 0.55 million parameters and 2.5 MB memory. The inference speed can reach 30 FPS on a single RTX 2080Ti GPU with a 1024x2048-pixel image.

연구 동기 및 목표

• 모바일 및 자율 주행 시스템을 위한 실시간 세분화에서 높은 성능를 달성하는 데 도전한다.
• 모델 정확도, 파라미터 수, 추론 속도 사이의 상충 관계를 균형 잡는다.
• 계산 비용을 증가시키지 않으면서도 공간적 및 채널별 맥락을 유지하는 효율적인 특징 추출 기법을 개발한다.
• 모델 크기와 메모리 사용량을 최소화하여 자원이 제한된 장치에의 배포를 가능하게 한다.

제안 방법

• 각 채널별로 독립적으로 확장된 컨볼루션을 적용하여 다중 척도 특징을 추출하는 채널별 특징 피라미드(CFP) 모듈을 제안한다.
• 증가하는 커널 확장률을 가진 일련의 확장 컨볼루션을 사용하여 장거리 맥락을 유지하면서도 공간 해상도를 보존한다.
• 채널별 특징 학습과 공간 집계를 분리함으로써 파라미터 효율성을 높인 CFP 모듈을 설계한다.
• 세분화를 위한 경량 인코더-디코더 아키텍처에 CFP 모듈을 통합한다.
• 파라미터 수와 메모리 사용량을 최소화하여 추론 속도를 최적화한다.
• 표준 교차 엔트로피 및 평균 교차율(mIoU) 손실을 사용하여 Cityscapes와 CamVid에서 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 채널별 특징 피라미드 모듈은 최소한의 파라미터 오 overhead로 다중 척도 맥락을 효과적으로 포착할 수 있는가?
• RQ2 CFP 모듈은 고해상도 입력에서 실시간 추론 속도를 유지하면서 mIoU를 얼마나 향상시킬 수 있는가?
• RQ3 기존의 실시간 세분화 모델과 비교할 때 제안된 아키텍처는 정확도, 모델 크기, 속도 측면에서 어떻게 비교되는가?
• RQ4 CFPNet는 상당히 감소된 파라미터 수로 기준 데이터셋에서 최고 성능를 달성할 수 있는가?
• RQ5 채널별로 확장된 컨볼루션을 사용함으로써 공간 세부 사항이 유지되고 특징 표현이 향상되는가?

주요 결과

• CFPNet는 Cityscapes 테스트 세트에서 70.1%의 클래스별 mIoU를 달성하여 뛰어난 세분화 정확도를 입증한다.
• 모델는 단지 0.55만 개의 파라미터와 2.5MB의 메모리만을 사용하여 실시간 배포에 매우 컴팩트하다.
• 1024×2048 입력 이미지에서 단일 RTX 2080Ti GPU에서 추론 속도가 30 FPS에 도달하여 실시간 요구 조건을 충족한다.
• CFP 모듈은 최소한의 계산 비용으로 효과적인 다중 척도 특징 학습을 가능하게 하여 기존 피라미드 모듈보다 효율성을 높인다.
• CamVid에서도 경쟁 가능한 성능를 확보하여 다양한 데이터셋에 대한 일반화 능력을 확인한다.
• 제거 실험을 통해 채널별 설계가 파라미터 수를 줄이면서도 mIoU 성능를 유지함을 확인한다.