[논문 리뷰] Active Boundary Loss for Semantic Segmentation

Chi Wang, Yunke Zhang외 7명|arXiv (Cornell University)|2021. 02. 04.

Advanced Neural Network Applications인용 수 6

한 줄 요약

이 논문은 활성 경계 손실(ABL)을 제안한다. ABL은 모델에 종속되지 않고 미분 가능한 손실로, 엔드 투 엔드 훈련 중에 예측 경계를 지도 경계로 동적으로 유도한다. 경계 정렬 문제를 방향 벡터 예측 문제로 모델링함으로써, 이미지 및 영상 데이터셋에서 세분화 성능을 향상시켜 얇고 작은 물체에 대해 경계 F-스코어와 mIoU를 개선하며, 교차 엔트로피, IoU, 이전 경계 손실보다 뛰어난 성능을 보인다.

ABSTRACT

This paper proposes a novel active boundary loss for semantic segmentation. It can progressively encourage the alignment between predicted boundaries and ground-truth boundaries during end-to-end training, which is not explicitly enforced in commonly used cross-entropy loss. Based on the predicted boundaries detected from the segmentation results using current network parameters, we formulate the boundary alignment problem as a differentiable direction vector prediction problem to guide the movement of predicted boundaries in each iteration. Our loss is model-agnostic and can be plugged in to the training of segmentation networks to improve the boundary details. Experimental results show that training with the active boundary loss can effectively improve the boundary F-score and mean Intersection-over-Union on challenging image and video object segmentation datasets.

연구 동기 및 목표

• 작은 물체와 얇은 물체에 특히 문제가 되는 경계의 흐림과 부정확성 문제를 해결하기 위해.
• 기본 픽셀 수준의 분류를 넘어서 예측 경계와 지도 경계 간의 정렬을 명시적으로 장려하는 훈련 손실을 개발하기 위해.
• 현재 네트워크 예측에 따라 동적으로 조정되는, 미분 가능하고 동적인 손실을 만들기 위해.
• 네트워크 아키텍처나 추론 파이프라인을 수정하지 않고도 세분화 품질을 향상시키기 위해.
• 이미지 및 영상 세분화 작업 전반에 걸쳐 일반화 가능성을 입증하기 위해. 이는 DeepLabV3, OCR, SwinTransformer, STM과 같은 최신 모델을 포함한다.

제안 방법

• ABL은 각 예측 경계 픽셀이 가장 가까운 지도 경계 픽셀 쪽으로 이동하도록, 경계 정렬 문제를 미분 가능한 방향 벡터 예측 문제로 공식화한다.
• 지도 경계에 대해 거리 변환을 적용하여 거리 맵을 계산함으로써, 각 예측 경계 픽셀에 대한 방향 벡터를 결정한다.
• 손실은 예측 경계를 방향 벡터 방향으로 확률적 이동을 적용하여 backpropagation 동안 기울기 흐름을 가능하게 한다.
• 기울기 흐름을 경계 예측 브랜치에서 분리하여 최적화 과정에서 발생할 수 있는 갈등을 억제한다.
• ABL은 교차 엔트로피와 Lovász-Softmax와 같은 표준 손실과 조합되어 훈련 안정성과 경계 품질 향상에 기여한다.
• 이 방법은 모델에 종속되지 않으며, 아키텍처 변경 없이 기존 세분화 네트워크에 원활하게 통합될 수 있다.

실험 결과

연구 질문

• RQ1 후처리에 의존하지 않고도, 미분 가능하고 동적인 손실이 세분화에서 경계 정렬을 향상시킬 수 있는가?
• RQ2 ABL은 경계 손실 및 IoU 기반 손실과 비교해 경계 F-스코어와 mIoU 측면에서 어떻게 성능을 내는가?
• RQ3 ABL은 경계 블러가 발생하기 쉬운 작은 물체나 얇은 물체의 세분화 성능을 효과적으로 향상시킬 수 있는가?
• RQ4 ABL은 CNN과 트랜스포머를 포함한 다양한 아키텍처에서 이미지 및 영상 세분화 작업 전반에 걸쳐 일반화 가능한가?
• RQ5 ABL은 교차 엔트로피와 Lovász-Softmax와 같은 다른 손실과 효과적으로 조합되어 훈련 안정성과 경계 세부 정보를 향상시킬 수 있는가?

주요 결과

• 표준 교차 엔트로피 손실 대비 Cityscapes 검증 세트에서 ABL을 사용한 훈련은 mIoU를 0.7% 향상시키고, 경계 F-스코어는 1.0% 향상시켰다.
• DAVIS-2016 영상 객체 세분화 벤치마크에서 STM에 ABL을 피니튜닝하면 영역 유사도 지표(J-mean)가 0.7% 향상되고, 윤곽 정확도(F-mean)는 1.0% 향상되었다.
• WMH 데이터셋에서 ABL은 DSC 0.768과 HD 0.980을 기록하여, 경계 손실 기반 베이스라인을 능가했다.
• 정성적 비교에서 ABL은 교통 신호등과 오토바이 尾등과 같은 얇은 물체에 대해 더 선명한 경계를 생성했으며, 예측 경계가 지도 경계 가장자리로 점차 정렬되는 경향을 보였다.
• ABL은 DeepLabV3, OCR, SwinTransformer, STM과 같은 다양한 모델에서 일관되게 성능 향상을 이끌었으며, 일반화 능력과 즉시 사용 가능한 성질을 입증했다.
• 특히 이전 방법이 약한 지도 신호로 어려움을 겪는 경계 근처 영역에서, ABL은 경계 손실과 IoU 기반 손실을 모두 능가하는 경계 정렬 성능을 보였다.