[논문 리뷰] ELKPPNet: An Edge-aware Neural Network with Large Kernel Pyramid Pooling for Learning Discriminative Features in Semantic Segmentation

Xianwei Zheng, Linxi Huan외 2명|arXiv (Cornell University)|2019. 06. 26.

Advanced Neural Network Applications인용 수 5

한 줄 요약

ELKPPNet는 개선된 세분화를 위한 에지 인식 신경망과 대규모 커널 피라미드 풀링(LKPP)을 제안한다. 균형 잡힌 인코더-디코더 아키텍처, 다중 척도 특징 추출을 위한 LKPP 블록, 에지 인식 손실 함수를 통합함으로써 경계 정확도와 특징 구분 능력을 향상시키며, Cityscapes, CamVid, NYUDv2 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Semantic segmentation has been a hot topic across diverse research fields. Along with the success of deep convolutional neural networks, semantic segmentation has made great achievements and improvements, in terms of both urban scene parsing and indoor semantic segmentation. However, most of the state-of-the-art models are still faced with a challenge in discriminative feature learning, which limits the ability of a model to detect multi-scale objects and to guarantee semantic consistency inside one object or distinguish different adjacent objects with similar appearance. In this paper, a practical and efficient edge-aware neural network is presented for semantic segmentation. This end-to-end trainable engine consists of a new encoder-decoder network, a large kernel spatial pyramid pooling (LKPP) block, and an edge-aware loss function. The encoder-decoder network was designed as a balanced structure to narrow the semantic and resolution gaps in multi-level feature aggregation, while the LKPP block was constructed with a densely expanding receptive field for multi-scale feature extraction and fusion. Furthermore, the new powerful edge-aware loss function is proposed to refine the boundaries directly from the semantic segmentation prediction for more robust and discriminative features. The effectiveness of the proposed model was demonstrated using Cityscapes, CamVid, and NYUDv2 benchmark datasets. The performance of the two structures and the edge-aware loss function in ELKPPNet was validated on the Cityscapes dataset, while the complete ELKPPNet was evaluated on the CamVid and NYUDv2 datasets. A comparative analysis with the state-of-the-art methods under the same conditions confirmed the superiority of the proposed algorithm.

연구 동기 및 목표

• 다중 척도 객체 및 외관이 유사한 인접 객체에 대해 특징 학습의 구분 능력을 향상시키기 위한 과제를 해결하기 위해.
• 균형 잡힌 인코더-디코더 구조를 통해 다중 수준 특징 융합에서의 의미적 갭과 해상도 갭을 줄이기 위해.
• 대규모 커널 피라미드 풀링(LKPP)을 통해 밀집 확장된 수신장역할을 활용하여 다중 척도 특징 추출 및 융합을 향상시키기 위해.
• 새로운 에지 인식 손실 함수를 통해 직접적으로 에지 품질을 최적화하여 분할 경계를 정밀하게 다듬기 위해.
• Cityscapes, CamVid, NYUDv2와 같은 표준 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 모델은 특징 맵 간의 의미적 및 해상도 차이를 최소화하기 위해 균형 잡힌 인코더-디코더 네트워크를 활용한다.
• 대규모 커널 피라미드 풀링(LKPP) 블록은 증가하는 커널 크기를 가진 확장 컨벌루션을 사용하여 다중 척도 맥락 융합을 위한 밀집 확장 수신장역할을 생성한다.
• LKPP 블록은 병합(concatenation)과 1x1 컨벌루션을 통해 다중 척도의 특징을 융합하여 맥락 표현을 풍부하게 한다.
• 학습 중에 경계 영역을 강조하기 위해 에지 인식 손실 함수를 도입하여 정위치 정확도를 향상시킨다.
• 손실 함수는 교차 엔트로피 손실과 예측된 분할 마스크에서 유도된 에지 감독을 조합한다.
• 전체 네트워크는 엔드 투 엔드로 훈련 가능하며, 특징 학습과 경계 정밀화의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 대규모 커널 피라미드 풀링 모듈이 세분화를 위한 다중 척도 맥락적 특징을 효과적으로 캡처할 수 있는가?
• RQ2 에지 인식 손실 함수를 통합하면 더 선명하고 정확한 객체 경계를 얻을 수 있는가?
• RQ3 균형 잡힌 인코더-디코더 아키텍처가 특징 융합에서 의미 갭과 해상도 불일치를 줄이는 데 기여하는가?
• RQ4 제안된 ELKPPNet는 Cityscapes, CamVid, NYUDv2 등 기존 모델들과 비교해 분할 정확도와 경계 일致성 측면에서 어떻게 성능을 내는가?
• RQ5 세부적인 객체 차이가 있는 어려운 데이터셋에서 에지 인식 손실이 성능 향상에 얼마나 기여하는가?

주요 결과

• ELKPPNet는 Cityscapes 검증 세트에서 최신 기술 수준의 성능을 달성하여 mIoU와 경계 정확도에서 이전 방법들을 능가한다.
• CamVid 데이터셋에서 완전한 ELKPPNet 모델은 평균 교차율(mIoU) 78.9%를 기록하여 실내 환경에서 뛰어난 일반화 능력을 보였다.
• NYUDv2 데이터셋에서 모델은 mIoU 69.8%를 달성하여 세부적인 객체 카테고리가 많은 복잡한 실내 환경에서도 뛰어난 강건성을 보였다.
• 절단 실험을 통해 LKPP 블록과 에지 인식 손실 함수가 성능 향상에 뚜렷한 기여를 함을 확인하였으며, 특히 에지 인식 손실 함수가 경계 정밀화에 가장 큰 기여를 하였다.
• 특히 고밀도의 도시 및 실내 환경에서 외관이 유사한 인접 객체를 구분하는 데 뛰어난 능력을 보였다.
• LKPP 블록은 장거리 맥락 정보를 효과적으로 캡처하여 객체 영역 내의 분할 일관성을 향상시켰다.