[논문 리뷰] Distance transform regression for spatially-aware deep semantic segmentation

Nicolas Audebert, Alexandre Boulch외 2명|arXiv (Cornell University)|2019. 09. 04.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 44

한 줄 요약

이 논문은 거리 변환 회귀 손실을 다중 작업 정규화로 도입하여 네트워크가 클래스 레이블뿐만 아니라 거리 맵을 예측하도록 가르쳐 더 또렷하고 일관된 분할을 생성하게 한다.

ABSTRACT

Understanding visual scenes relies more and more on dense pixel-wise classification obtained via deep fully convolutional neural networks. However, due to the nature of the networks, predictions often suffer from blurry boundaries and ill-segmented shapes, fueling the need for post-processing. This work introduces a new semantic segmentation regularization based on the regression of a distance transform. After computing the distance transform on the label masks, we train a FCN in a multi-task setting in both discrete and continuous spaces by learning jointly classification and distance regression. This requires almost no modification of the network structure and adds a very low overhead to the training process. Learning to approximate the distance transform back-propagates spatial cues that implicitly regularizes the segmentation. We validate this technique with several architectures on various datasets, and we show significant improvements compared to competitive baselines.

연구 동기 및 목표

• FCN 기반 시맨틱 세그멘테이션에서 공간적 규칙성 향상을 촉진한다.
• 공간적 신호를 주입하기 위해 부호화된 거리 변환(SDT)을 회귀 타깃으로 사용할 것을 제안한다.
• 최소한의 네트워크 수정으로 엔드-투-엔드 학습을 가능하게 한다.
• 도시, RGB-D, 항공 영상 등 다양한 영역에 걸친 일반화를 보여준다.

제안 방법

• 각 클래스에 대한 그라운드 트루스 마스크의 부호 거리 변환(SDT)을 계산하고 [-1, 1]로 정규화한다.
• SDT(회귀) 예측과 표준 분할(분류)을 수행하기 위해 순차적 다중 작업 설정으로 FCN을 학습한다.
• 최종 softmax 이전에 연결 기반 융합을 통해 예측된 SDTs를 중간 특징들과 융합한다.
• SDT 회귀에 L1 손실을 사용하고 분류에 교차 엔트로피 손실을 사용하며, 하이퍼파라미터 lambda로 균형을 맞춘다.
• SDT 예측을 hardtanh로 클램핑하여 출력이 [-1, 1] 범위를 유지하도록 한다.

실험 결과

연구 질문

• RQ1 SDT 회귀를 다중 작업 목표로 도입하는 것이 기준점 대비 시맨틱 세그멘테이션 품질을 향상시키는가?
• RQ2 SDT 기반 규칙화가 다양한 아키텍처와 데이터셋과 어떻게 상호작용하는가?
• RQ3 다양한 도메인에 대한 하이퍼파라미터 설정과 도메인 간 정합성 측면에서의 강건성은 어떠한가?
• RQ4 SDT 회귀만으로도 이점이 있는가, 아니면 이점을 얻으려면 분류와의 결합이 필요하는가?

주요 결과

• 다중 작업 SDT 회귀는 여러 데이터셋과 아키텍처에서 강력한 기준선 대비 상당한 개선을 낳는다.
• SDT 회귀 단독으로는 충분하지 않으며, 다중 작업 학습을 통한 분류와의 결합이 이점을 제공한다.
• 항공 및 실내 데이터셋 전반에서 경계 일관성을 향상시키고 분류 노이즈를 감소시킨다.
• 항공 벤치마크에서 SDT는 IoU와 건물 형태 규칙성을 향상시키며 도시 전반에서 일관된 이점을 제공한다.
• RGB-D 및 도시 장면 데이터셋에서 이 접근법은 기준선 대비 전체 정확도와 분할 품질을 향상시킨다.