[논문 리뷰] DSNet: A Novel Way to Use Atrous Convolutions in Semantic Segmentation

Zilu Guo, Liuyang Bian외 4명|arXiv (Cornell University)|2024. 06. 06.

Neural Networks and Applications인용 수 4

한 줄 요약

DSNet는 얕은 층에서 아트로스 컨볼루션을 적용하는 새로운 이중 브랜치 CNN 아키텍처를 제안한다. 이는 세 가지 경험적 원칙에 따라 이뤄지며, 아트로스와 디ensa 컨볼루션의 조합, 최적의 레이트 선택을 통한 '아트로스 재앙' 방지, 효과적인 피처 융합 메커니즘 사용이다. 모델은 ADE20K와 Cityscapes에서 각각 40.0% mIOU, 179.2 FPS, 80.4% mIOU, 81.9 FPS를 기록하며 최신 기술 수준의 정확도-속도 균형을 달성했으며, 실시간 트랜스포머 기반 및 CNN 기반 모델을 모두 능가한다.

ABSTRACT

Atrous convolutions are employed as a method to increase the receptive field in semantic segmentation tasks. However, in previous works of semantic segmentation, it was rarely employed in the shallow layers of the model. We revisit the design of atrous convolutions in modern convolutional neural networks (CNNs), and demonstrate that the concept of using large kernels to apply atrous convolutions could be a more powerful paradigm. We propose three guidelines to apply atrous convolutions more efficiently. Following these guidelines, we propose DSNet, a Dual-Branch CNN architecture, which incorporates atrous convolutions in the shallow layers of the model architecture, as well as pretraining the nearly entire encoder on ImageNet to achieve better performance. To demonstrate the effectiveness of our approach, our models achieve a new state-of-the-art trade-off between accuracy and speed on ADE20K, Cityscapes and BDD datasets. Specifically, DSNet achieves 40.0% mIOU with inference speed of 179.2 FPS on ADE20K, and 80.4% mIOU with speed of 81.9 FPS on Cityscapes. Source code and models are available at Github: https://github.com/takaniwa/DSNet.

연구 동기 및 목표

• semantic segmentation에서 아트로스 컨볼루션을 얕은 네트워크 층에 효과적으로 활용할 수 있는지 재평가하는 것.
• 이전 연구에서 관찰된 한계를 해결하기 위해 아트로스 컨볼루션 적용에 대한 경험적 지침을 규명하고 형식화하는 것.
• 이 지침을 기반으로 실시간 및 고정확도 세그멘테이션 작업에서 성능을 향상시킬 수 있는 이중 브랜치, 동일 해상도 네트워크(DSNet)를 설계하는 것.
• ADE20K, Cityscapes, BDD와 같은 벤치마크 데이터셋에서 mIOU와 추론 속도의 균형을 고려해 최신 기술 수준의 성능을 달성하는 것.

제안 방법

• 저자들은 세 가지 경험적 지침을 제안한다: (1) 아트로스 컨볼루션만 사용하는 대신 아트로스와 디ensa 컨볼루션을 조합할 것; (2) 성능 저하('아트로스 재앙')를 방지하기 위해 아트로스 레이트를 신중히 선택할 것; (3) 다중 스케일 피처를 효과적으로 융합하기 위한 메커니즘을 사용할 것.
• DSNet는 이중 브랜치 CNN 아키텍처로, 두 개의 병렬 브랜치로 구성된다: 큰 커널 크기를 가진 반복 아트로스 컨볼루션을 사용하는 컨텍스트 브랜치와 표준 컨볼루션을 사용하는 스페이셜 브랜치이며, 둘 다 전체적으로 동일한 해상도를 유지한다.
• 특징 표현과 융합을 향상시키기 위해 다중 스케일 융합 아트로스 컨볼루션 블록(MFACB), 다중 스케일 주의 융합 모듈(MSAF), 순차-병렬 아트로스 공간 계량 풀링(SPASPP) 모듈을 사용한다.
• 전체 인코더는 ImageNet에서 미리 훈련되어, 특히 아트로스 컨볼루션을 적용하는 얕은 층에서 특징 학습과 일반화 능력을 향상시킨다.
• 표준 인코더-디코더 아키텍처에 스킵 커넥션을 사용하며, 이중 브랜치의 특징들이 연결되어 업샘플링되어 최종 세그멘테이션 예측을 수행한다.
• 성능 평가는 ADE20K, Cityscapes, BDD 데이터셋에서 표준 단일 스케일 추론 프로토콜을 기반으로 mIOU와 FPS로 평가된다.

실험 결과

연구 질문

• RQ1 semantic segmentation에서 CNN의 얕은 층에서 아트로스 컨볼루션을 효과적으로 활용하지 못하는 주요 요인는 무엇인가?
• RQ2 특징 품질이 떨어지지 않도록 수신 영역 확장을 극대화하면서 아트로스 컨볼루션을 어떻게 적용할 수 있는가?
• RQ3 얕은 층에서 아트로스와 디ensa 컨볼루션을 조합하면 단독으로 사용할 경우보다 더 나은 성능을 낼 수 있는가?
• RQ4 아트로스 컨볼루션을 네트워크 초기 단계에 적용할 경우 ImageNet 미리 훈련이 어떤 역할을 하는가?
• RQ5 컨텍스트 브랜치에 아트로스 컨볼루션을 적용한 이중 브랜치, 동일 해상도 아키텍처가 기존 실시간 및 고정확도 모델을 능가할 수 있는가?

주요 결과

• Cityscapes에서 2048×1024 해상도에서 DSNet는 80.4% mIOU, 81.9 FPS를 기록하여 실시간 세그멘테이션 분야에서 새로운 최신 기술 수준을 수립했다.
• ADE20K에서 DSNet는 40.0% mIOU, 179.2 FPS를 기록하여 고정확도 벤치마크에서 뛰어난 정확도-속도 균형을 보였다.
• DSNet-Base는 Cityscapes에서 82.0% mIOU를 달성하여 HRNetV2-W48(81.1%) 및 OCRNet(81.6%)와 같은 고정확도 모델을 능가했으며, 파라미터 수(37.5M)는 더 적게 사용했다.
• SFNet(ResNet18)보다 2.2% 높은 mIOU를 기록했고, 추론 속도는 더 빠르며, SFNet-Lite(STDC-2)보다 3.4% 높은 mIOU를 기록했고, 속도는 단지 0.3ms 감소에 그쳤다.
• 제거 실험 결과, 제안된 지침—아트로스와 디ensa 컨볼루션의 조합, 최적의 아트로스 레이트 선택, 적절한 융합—이 성능 향상에 크게 기여하는 것으로 확인되었다.
• 적절한 설계 원칙에 따라 아트로스 컨볼루션을 얕은 층에 적용할 경우, 향상된 특징 학습과 세그멘테이션 정확도를 달성할 수 있음을 입증했다.