[논문 리뷰] Improving Semantic Segmentation via Decoupled Body and Edge Supervision

Xiangtai Li, Xia Li외 6명|arXiv (Cornell University)|2020. 07. 20.

Advanced Neural Network Applications참고 문헌 67인용 수 19

한 줄 요약

이 논문은 세분화에서 객체 일관성과 경계 정확도를 햖스리기 위해 고주파 경계 특징과 저주파 몸통 특징을 별도로 최적화하는 새로운 분리된 몸통 및 경계 감독 프레임워크를 제안한다. 유연한 플로우 필드를 사용해 특징을 왜곡하여 몸통 일관성을 향상시키고, 경계 및 몸통 구성 요소에 별도의 감독을 적용함으로써, 이 방법은 상태 기준 성능을 달성하여 도시 환경에서 라벨이 정밀하게만 제공된 데이터로 83.7% mIoU를 기록한다.

ABSTRACT

Existing semantic segmentation approaches either aim to improve the object's inner consistency by modeling the global context, or refine objects detail along their boundaries by multi-scale feature fusion. In this paper, a new paradigm for semantic segmentation is proposed. Our insight is that appealing performance of semantic segmentation requires extit{explicitly} modeling the object extit{body} and extit{edge}, which correspond to the high and low frequency of the image. To do so, we first warp the image feature by learning a flow field to make the object part more consistent. The resulting body feature and the residual edge feature are further optimized under decoupled supervision by explicitly sampling different parts (body or edge) pixels. We show that the proposed framework with various baselines or backbone networks leads to better object inner consistency and object boundaries. Extensive experiments on four major road scene semantic segmentation benchmarks including extit{Cityscapes}, extit{CamVid}, extit{KIITI} and extit{BDD} show that our proposed approach establishes new state of the art while retaining high efficiency in inference. In particular, we achieve 83.7 mIoU \% on Cityscape with only fine-annotated data. Code and models are made available to foster any further research (\url{https://github.com/lxtGH/DecoupleSegNets}).

연구 동기 및 목표

• 객체 내부 일관성 유지 및 세밀한 경계 세부 정보 보존에 어려움을 겪는 세분화 모델의 한계를 해결하기 위해.
• 통합된 분리 프레임워크를 사용해 세분화 특징의 고주파(경계) 및 저주파(몸통) 성분을 명시적으로 모델링하기 위해.
• 작업별 감독를 통해 몸통 및 경계 특징을 동시에 최적화하여 도로 환경 벤치마크에서 성능을 향상시키기 위해.
• 특히 라벨이 정밀하게만 제공된 환경에서 추론 효율성을 희생시키지 않고 최신 기준 성능을 달성하기 위해.

제안 방법

• 유연한 플로우 필드를 사용해 특징 맵을 왜곡하여 픽셀을 객체 중심으로 정렬함으로써 몸통 일관성을 향상시킨다.
• 학습된 플로우 필드를 사용해 입력 특징 맵을 왜곡함으로써 몸통 특징를 추출하며, 이는 매끄럽고 일관성 있는 표현을 생성한다.
• 원본 특징 맵에서 몸통 특징를 빼서 고주파 세부 정보를 유지하는 경계 특징를 확보한다.
• 몸통 특징는 경계를 제외한 마스크를 사용한 표준 교차 엔트로피 손실로 감독하며, 경계 특징는 별도의 경계 마스크로 감독한다.
• 개선된 몸통 및 경계 특징는 재구성된 특징 맵으로 통합되며, 이는 표준 교차 엔트로피 손실을 통해 감독된다.
• 학습 중에 경계 완화를 적용하여 몸통 및 경계 예측 간의 상호 보완성을 향상시킨다.

실험 결과

연구 질문

• RQ1 몸통 및 경계 성분으로 세분화 특징 학습을 분리하면 세분화 성능 향상에 기여하는가?
• RQ2 고주파 및 저주파 성분에 대한 명시적 감독이 더 나은 객체 일관성과 경계 정확도를 이끌어내는가?
• RQ3 플로우 기반 왜곡 메커니즘이 특징 공간에서 객체 몸통 일관성을 효과적으로 향상시키는가?
• RQ4 분리된 감독 방식은 종래의 엔드 투 엔드 학습 방식과 비교해 mIoU 및 추론 효율성 측면에서 어떻게 성능을 내는가?
• RQ5 제안된 방법은 라벨이 정밀하게만 제공된 데이터로 최신 기준 성능을 달성할 수 있는가? 이는 굵은 라벨이 필요 없음을 의미한다.

주요 결과

• 제안된 방법은 라벨이 정밀하게만 제공된 데이터로 도시 환경 테스트 세트에서 83.7% mIoU를 기록하여 새로운 최신 기준을 수립했다.
• 도시 환경에서 19개 카테고리 중 18개에서 기존 방법을 능가했으며, '기둥' 및 '신호등'과 같은 소형 객체 카테고리에서 뚜렷한 성능 향상을 보였다.
• 라벨이 정밀하게만 제공된 데이터로 도시 환경 테스트 세트에서 82.8% mIoU를 기록했으며, G-SCNN 및 AutoDeepLab-L와 같은 이전 최신 기준 방법을 뛰어넘었다.
• 시각화 결과는 대규모 객체의 내부 흐림 현상을 효과적으로 줄이고, 특히 Deeplabv3+에서 소형 객체의 누락된 경계 세부 정보를 복원하는 데 성공했다.
• 플로우 필드 시각화 결과는 모델이 객체 영역 내 픽셀을 의미 있는 공간 변환으로 정렬함으로써 특징의 일관성을 향상시키는 것을 확인했다.
• 제거 실험 결과는 분리된 감독 방식이 다양한 백본 네트워크 및 기반 모델에서 일관된 성능 향상을 이끌어내는 것으로 나타났다.