[논문 리뷰] E2EC: An End-to-End Contour-based Method for High-Quality High-Speed Instance Segmentation

Tao Zhang, S. Wei외 1명|arXiv (Cornell University)|2022. 03. 08.

Image Retrieval and Classification Techniques인용 수 11

한 줄 요약

E2EC는 수작업으로 설정된 윤곽선 초기화를 학습 가능한 아키텍처로 대체하고, 레이블 샘플링을 위한 다중 방향 정렬을 사용하며, 경계 품질 향상을 위해 동적 매칭 손실을 도입한 종단간(end-to-end), 윤곽 기반 인스턴스 세그멘테이션 방법이다. COCO에서 36.5 AP det 및 34.0 AP msk의 최고 성능을 달성하면서도 512×512 이미지에서 36 fps의 실시간 추론을 유지한다.

ABSTRACT

Contour-based instance segmentation methods have developed rapidly recently but feature rough and hand-crafted front-end contour initialization, which restricts the model performance, and an empirical and fixed backend predicted-label vertex pairing, which contributes to the learning difficulty. In this paper, we introduce a novel contour-based method, named E2EC, for high-quality instance segmentation. Firstly, E2EC applies a novel learnable contour initialization architecture instead of hand-crafted contour initialization. This consists of a contour initialization module for constructing more explicit learning goals and a global contour deformation module for taking advantage of all of the vertices' features better. Secondly, we propose a novel label sampling scheme, named multi-direction alignment, to reduce the learning difficulty. Thirdly, to improve the quality of the boundary details, we dynamically match the most appropriate predicted-ground truth vertex pairs and propose the corresponding loss function named dynamic matching loss. The experiments showed that E2EC can achieve a state-of-the-art performance on the KITTI INStance (KINS) dataset, the Semantic Boundaries Dataset (SBD), the Cityscapes and the COCO dataset. E2EC is also efficient for use in real-time applications, with an inference speed of 36 fps for 512*512 images on an NVIDIA A6000 GPU. Code will be released at https://github.com/zhang-tao-whu/e2ec.

연구 동기 및 목표

• 기존 윤곽 기반 인스턴스 세그멘테이션 방법의 한계를 해결하기 위해, 수작업으로 설정된 초기 윤곽선과 고정된 정점 쌍화에 의존하는 방식은 높은 학습 난이도와 열악한 경계 품질을 초래한다.
• 예측된 정점과 진짜 정점 간의 더 유연하고 최적의 매칭을 가능하게 하기 위해, 다중 방향 정렬(MDA) 레이블 샘플링 체계를 도입함으로써 학습 난이도를 감소시킨다.
• 학습 중에 예측된 정점과 진짜 정점 간의 매칭을 적응적으로 조정하는 동적 매칭 손실(DML) 함수를 통해 경계 세부 정보 품질을 향상시킨다.
• 지역 이웃이 아닌 모든 정점의 특징을 활용하는 글로벌 윤곽 변형 모듈을 통합함으로써 높은 정확도와 실시간 추론 속도를 동시에 달성한다.
• 다른 방법으로 쉽게 적용할 수 있는 강력하고 일반화 능력이 뛰어난 윤곽 기반 인스턴스 세그멘테이션의 기준을 수립한다.

제안 방법

• E2EC는 수작업으로 설정된 초기 윤곽선을 학습 가능한 윤곽선 초기화 아키텍처로 대체하여 중심점 특징에서 직접 전체 초기 윤곽선을 회귀함으로써, 고정된 레이어 기반 또는 형태 기반 초기화 방식을 회피한다.
• 모든 정점과 중심점을 활용한 특징을 통해 초기 윤곽선을 개선하는 글로벌 윤곽 변형 모듈을 도입하여 지역 집합과 비교해 더 나은 전역적 맥락 활용이 가능하다.
• 다양한 방향에서 레이블을 동적으로 샘플링함으로써 학습 난이도를 감소시키고 수렴 성능을 향상시키기 위해 다중 방향 정렬(MDA) 체계를 도입한다.
• 학습 중에 예측된 정점과 진짜 정점 간의 가장 적절한 쌍을 자동으로 식별하는 동적 매칭 손실(DML) 함수를 제안하여 경계 세부 정보 학습을 향상시킨다.
• 검출 및 세그멘테이션을 하나의 파이프라인에서 종단간으로 통합하여 별도의 검출기 학습이 필요 없도록 한다.
• 경량 DLA-34 백본을 사용하여 정확도를 훼손하지 않으면서도 고속을 달성하여 실시간 추론을 가능하게 한다.

Figure 1 : The ideal deformation paths of several contour-based methods. White boundaries and points are the initial contours, blue lines are the deformation paths, and black points are the alignment points.

실험 결과

연구 질문

• RQ1 학습 가능한 윤곽선 초기화 아키텍처는 수작업으로 설정된 형태에 비해 학습 난이도를 크게 감소시키고 초기 윤곽선 품질을 향상시킬 수 있는가?
• RQ2 다중 방향 정렬(MDA)은 윤곽 기반 인스턴스 세그멘테이션에서 더 많은 레이블 샘플링의灵活性를 제공함으로써 수렴 속도를 향상시키고 성능을 향상시키는가?
• RQ3 학습 중에 정점 쌍을 적응적으로 조정하는 동적 매칭 손실 함수는 경계 세부 정보 정확도와 세그멘테이션 품질을 향상시킬 수 있는가?
• RQ4 종단간 윤곽 기반 방법은 표준 벤치마크에서 최고 성능을 달성하면서도 실시간 추론 속도를 유지할 수 있는가?
• RQ5 기존의 일단계 및 이단계 인스턴스 세그멘테이션 모델과 비교해 E2EC는 정확도, 속도, 경계 품질 측면에서 어떻게 다른가?

주요 결과

• COCO 데이터셋에서 E2EC는 36.5 AP det, 34.0 AP msk, 33.3 AP bdy를 기록하여 Deep Snake보다 3.7 AP det, 2.7 AP msk, 3.1 AP bdy 높게 성능을 냈다.
• SBD 데이터셋에서 E2EC는 Deep Snake보다 4.8 AP msk와 8.3 AP bdy 높았고, AP${}_{75}^{msk}$는 9.1 포인트 높아 경계 세부 정보 학습 능력이 뛰어나다는 것을 입증했다.
• Cityscapes에서 E2EC는 테스트 세트에서 32.9 AP msk(Deep Snake보다 1.2 높음)를 기록했고, 복수 성분 검출을 통한 검증 세트에서는 39.0 AP msk를 기록하여 PANet보다 1.1 AP msk 높았다.
• E2EC는 COCO에서 30.1 fps에서 33.8 AP msk를 기록하여 Deep Snake보다 3.5 AP msk 높았고, 높은 속도를 유지했다.
• 더 빠른 변종인 E2EC*는 54.3 fps에서 31.7 AP msk를 기록하여 Deep Snake의 거의 두 배의 속도를 기록했고, 여전히 1.4 AP msk 높은 성능을 냈다.
• 동적 매칭 손실과 글로벌 변형 모듈은 더 높은 AP bdy와 정밀한 세부 사항(예: 타이어, 거울 등)을 정확하게 세그멘테이션하는 시각적 결과를 통해 경계 품질 향상에 기여했다.

Figure 2 : Overview of E2EC. E2EC consists of a learnable contour initialization architecture including a contour initialization and a global deformation module that produces the coarse contour, and a contour refinement module that produces the final contour with the supervision of DML.