[논문 리뷰] BoundarySqueeze: Image Segmentation as Boundary Squeezing

Hao He, Xiangtai Li외 6명|arXiv (Cornell University)|2021. 05. 25.

Advanced Neural Network Applications참고 문헌 80인용 수 8

한 줄 요약

이 논문은 이중 방향 유동 기반 워핑을 사용하여 인스턴스 세그멘테이션과 시맨틱 세그멘테이션을 경계 압축 과정으로 간주하는 새로운 이미지 세그멘테이션 방법인 BoundarySqueeze를 제안한다. 형태학적 팽창/침식을 감독 신호로 활용함으로써 경계 정밀도를 향상시키는 경량 경계 압축 모듈은 COCO와 Cityscapes에서 PointRend 대비 1.0–1.1 mIoU 향상을 이뤄내며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

This paper proposes a novel method for high-quality image segmentation of both objects and scenes. Inspired by the dilation and erosion operations in morphological image processing techniques, the pixel-level image segmentation problems are treated as squeezing object boundaries. From this perspective, a novel and efficient extbf{Boundary Squeeze} module is proposed. This module is used to squeeze the object boundary from both inner and outer directions, which contributes to precise mask representation. A bi-directionally flow-based warping process is proposed to generate such squeezed feature representation, and two specific loss signals are designed to supervise the squeezing process. The Boundary Squeeze module can be easily applied to both instance and semantic segmentation tasks as a plug-and-play module by building on top of some existing methods. Moreover, the proposed module is light-weighted, and thus has potential for practical usage. Experiment results show that our simple yet effective design can produce high-quality results on several different datasets. Besides, several other metrics on the boundary are used to prove the effectiveness of our method over previous work. Our approach yields significant improvement on challenging COCO and Cityscapes datasets for both instance and semantic segmentation, and outperforms previous state-of-the-art PointRend in both accuracy and speed under the same setting. Codes and models will be published at \url{https://github.com/lxtGH/BSSeg}.

연구 동기 및 목표

• 딥 러닝 기반 이미지 세그멘테이션에서 미세한 물체 세부 사항에 대한 경계 국소화의 정확도가 떨어지는 문제를 해결한다.
• 점 랜딩 기반의 비균일한 점 샘플링을 사용하고 구조적 가이던스 없이 작동하는 기존 방법들(예: PointRend)이 모호한 경계에서 실패하는 문제를 극복한다.
• 형태학적 영상 처리에 영감을 받아 공통된 경계 중심 파라다임을 통해 인스턴스 세그멘테이션과 시맨틱 세그멘테이션을 통합한다.
• 기존 네트워크의 아키텍처를 대체하지 않고도 정확도와 효율성을 향상시킬 수 있는 플러그 앤 플레이 모듈을 개발한다.

제안 방법

• 이중 방향 유동 기반 특성 워핑을 통해 경계 정제를 수행하는 가벼운, 엔드 투 엔드 학습 가능한 구성 요소인 경계 압축 모듈(BSM)을 제안한다.
• 특성 맵의 유동 기반 워핑을 사용하여 외부에서 경계로의 수축(outer-to-boundary) 및 내부에서 경계로의 팽창(inner-to-boundary) 유동을 학습하는 압축된 특성 생성기(SFG)를 설계한다.
• 두 유동 브랜치에 대해 진짜 마스크의 형태학적 팽창 및 침식을 감독 신호로 사용하여 데이터 기반의 경계 정제를 가능하게 한다.
• Mask R-CNN 및 DeeplabV3+와 같은 기존 세그멘테이션 프레임워크에 BSM을 플러그인 모듈로 통합하여 인스턴스 및 시맨틱 세그멘테이션 모두에 적용한다.
• 경계 특성 품질을 감독하기 위해 수축 유동과 팽창 유동 각각에 대해 보조 손실을 두 개 도입한다.
• 랜덤 리사이즈, 크롭, 수평 플립 증강 기법을 적용하고, COCO, Cityscapes, BDD100K에서의 학습에 poly 학습률 감소 전략을 사용한다.

실험 결과

연구 질문

• RQ1 경계를 동적인 압축 과정으로 모델링하는 경계 중심 접근 방식이 이미지 세그멘테이션의 마스크 정밀도를 향상시킬 수 있는가?
• RQ2 학습된 유동 필드를 통한 이중 방향(내부 및 외부) 경계 압축이 점 기반 또는 균일한 특성 정제보다 더 정확하고 구조적인 경계 예측을 이끌어낼 수 있는가?
• RQ3 BSM처럼 경량이며 플러그 앤 플레이인 모듈이 아키텍처 변경 없이도 인스턴스 및 시맨틱 세그멘테이션 작업 전반에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 저대비의 미세한 물체 경계에서 PointRend와 비교해 본다면, 제안된 방법이 경계 정확도에서 얼마나 우월한가?
• RQ5 형태학적 연산(팽창/침식)을 감독 신호로 사용할 경우 일반화 능력과 경계 국소화 정확도가 얼마나 향상되는가?

주요 결과

• COCO 인스턴스 세그멘테이션 벤치마크에서 ResNet-50를 사용할 경우 PointRend 대비 1.0 mIoU 향상을 달성하였고, ResNet-101를 사용할 경우 1.1 mIoU 향상을 기록하였다. 동일한 학습 및 추론 설정 조건에서 성과를 내었다.
• Cityscapes 시맨틱 세그멘테이션 데이터셋에서, 메트릭 mIoU는 PointRend 대비 1.0–1.1 포인트 향상되었으며, 모든 F-score 임계값에서 일관된 성능 향상을 보였다. 특히 더 미세한 경계를 나타내는 낮은 임계값에서 두드러진 성능 향상을 보였다.
• BDD10000 데이터셋에서, BoundarySqueeze는 기준 모델인 DeeplabV3+와 PointRnd 대비 일관된 성능 향상을 유지하며 다양한 환경 유형에 걸쳐 강력한 일반화 능력을 보였다.
• 시각화 결과는 BSM이 더 얇고 정밀한 경계 특성과 예측을 생성하며, 정확한 마스크 정제를 이끄는 명확한 수축 및 팽창 유동 필드를 생성하는 것으로 확인되었다.
• 이 방법은 정확도뿐 아니라 속도 면에서도 PointRend를 능가하며, 이는 적응형 점 렌더링보다도 더 효율적이고 효과적인 유동 기반 워핑 메커니즘이라는 것을 시사한다.
• BSM의 플러그 앤 플레이 성격 덕분에 Mask R-CNN 및 DeeplabV3+와 같은 기존 모델에 쉽게 통합될 수 있으며, 백본 재학습 없이도 아키텍처의 주요 변경 없이 일관된 성능 향상을 이끌어낼 수 있었다.