[논문 리뷰] SegFix: Model-Agnostic Boundary Refinement for Segmentation

Yuhui Yuan, Jingyi Xie외 2명|arXiv (Cornell University)|2020. 07. 08.

Advanced Neural Network Applications참고 문헌 64인용 수 13

한 줄 요약

SegFix는 원본 분할 모델에 접근하거나 수정하지 않고도 신뢰할 수 없는 경계 예측을 해당 내부 픽셀의 레이블로 대체함으로써 의미적 및 인스턴스 분할 경계 품질을 향상시키는 모델에 종속되지 않는 후처리 방법이다. 학습된 경계 맵을 통해 경계를 국소화하고, 내부 대응 관계를 식별하기 위해 내향 방향 벡터를 추정한다. 이로 인해 실시간에 가까운 추론 속도를 달성하고, Cityscapes, ADE20K, GTA5를 포함한 여러 모델과 벤치마크에서 일관된 mIoU 향상을 이룬다.

ABSTRACT

We present a model-agnostic post-processing scheme to improve the boundary quality for the segmentation result that is generated by any existing segmentation model. Motivated by the empirical observation that the label predictions of interior pixels are more reliable, we propose to replace the originally unreliable predictions of boundary pixels by the predictions of interior pixels. Our approach processes only the input image through two steps: (i) localize the boundary pixels and (ii) identify the corresponding interior pixel for each boundary pixel. We build the correspondence by learning a direction away from the boundary pixel to an interior pixel. Our method requires no prior information of the segmentation models and achieves nearly real-time speed. We empirically verify that our SegFix consistently reduces the boundary errors for segmentation results generated from various state-of-the-art models on Cityscapes, ADE20K and GTA5. Code is available at: https://github.com/openseg-group/openseg.pytorch.

연구 동기 및 목표

• 최신 분할 모델에서 지속적으로 발생하는 경계 오류, 특히 얇은 물체 경계에서의 오류를 해결하기 위해.
• 기본 분할 모델에 대한 접근이나 수정 없이도 분할 경계를 향상시키는 후처리 방법을 개발하기 위해.
• 다양한 모델과 데이터셋에서 일관된 성능 향상을 유지하면서도 고속 추론을 달성하기 위해.
• 최소한의 아키텍처 변경으로 의미적 및 인스턴스 분할 작업 모두에 적용 가능한 방법을 확장하기 위해.

제안 방법

• 이 방법은 먼저 입력 이미지만을 사용해 학습된 이진 경계 맵을 통해 경계 픽셀을 국소화한다.
• 그 다음, 이미지 특징을 기반으로 훈련된 컨볼루션 네트워크를 사용해 각 경계 픽셀에서 내부 픽셀을 햖향하는 방향 맵을 추정한다.
• 각 경계 픽셀에 대해, 예측된 방향 벡터를 일정 거리만큼 따라가면서 해당하는 내부 픽셀을 식별한다.
• 원래 경계 픽셀의 분할 레이블을 식별된 내부 픽셀의 레이블로 대체함으로써 경계를 효과적으로 개선한다.
• 전체 과정은 재학습이나 기본 분할 모델의 아키텍처 변경 없이 후처리 단계로 적용된다.
• 이 방법은 이미지 입력과 분할 정답을 사용해 엔드 투 엔드로 훈련되며, 추론 시에는 분할 출력을 사용하지 않는다.

실험 결과

연구 질문

• RQ1 기본 분할 모델을 수정하거나 접근하지 않고도 후처리 방법이 분할 경계 품질을 향상시킬 수 있는가?
• RQ2 해당 내부 픽셀의 레이블로 경계 예측을 대체하면 다양한 모델과 데이터셋에서 일관된 성능 향상이 이루어지는가?
• RQ3 모델에 종속되지 않고 경량화된 정밀 조정 메커니즘이 얇은 경계에서 mIoU를 향상시키면서도 거의 실시간 추론 속도를 달성할 수 있는가?
• RQ4 작은 크기의 객체, 특히 경계 오류에 취약한 객체에 대해 이 방법은 얼마나 효과적인가?

주요 결과

• SegFix는 Cityscapes에서 평가된 모든 모델에서 일관되게 mIoU를 향상시키며, 'pole' 카테고리에서 최대 3.1% 향상되고 'traffic light'에서 2.7% 향상된다.
• Cityscapes 의미적 분할 랭킹에서 'HRNet + OCR + SegFix'는 84.5% mIoU를 기록해 ECCV 2020 마감일 기준 1위를 차지했다.
• 인스턴스 분할의 경우 'PolyTransform + SegFix'는 41.2% mAP를 기록해 Cityscapes 인스턴스 분할 랭킹에서 2위를 차지했다.
• 이 방법은 거의 실시간 추론 속도를 달성해 실생활 응용에 구현 가능한 실용성을 확보했다.
• Cityscapes와 ADE20K 양쪽에서 훈련된 통합 SegFix 모델은 각각 별도로 훈련된 모델들과 비교해 유사한 성능을 보였다.
• 정성적 결과는 SegFix가 사람, 기둥, 신호등과 같은 얇은 경계에서 경계 아티팩트를 효과적으로 줄임을 보여준다.