[논문 리뷰] PolyTransform: Deep Polygon Transformer for Instance Segmentation

Justin Liang, Namdar Homayounfar외 4명|arXiv (Cornell University)|2019. 12. 05.

Advanced Neural Network Applications참고 문헌 64인용 수 13

한 줄 요약

PolyTransform는 초기 세그멘테이션 마스크를 다각형으로 변환하고, 미분 가능한 변형 네트워크를 통해 정밀도를 향상시키는 새로운 인스턴스 세그멘테이션 프레임워크이다. Cityscapes에서 테스트 리더보드 1위를 기록하며 SOTA 대비 +3.7 AP 향상과 함께 최고 성능을 달성했고, 인터랙티브 환경에서 약 35% 빠른 애노테이션 시간을 확보하였다.

ABSTRACT

In this paper, we propose PolyTransform, a novel instance segmentation algorithm that produces precise, geometry-preserving masks by combining the strengths of prevailing segmentation approaches and modern polygon-based methods. In particular, we first exploit a segmentation network to generate instance masks. We then convert the masks into a set of polygons that are then fed to a deforming network that transforms the polygons such that they better fit the object boundaries. Our experiments on the challenging Cityscapes dataset show that our PolyTransform significantly improves the performance of the backbone instance segmentation network and ranks 1st on the Cityscapes test-set leaderboard. We also show impressive gains in the interactive annotation setting. We release the code at https://github.com/uber-research/PolyTransform.

연구 동기 및 목표

• 딥러닝 기반 인스턴스 세그멘테이션에서 과도하게 매끄러운 마스크로 인한 문제를 해결하기 위해 세밀한 기하학적 세부 정보를 유지한다.
• 고정 다각형 방법의 유연성 부족으로 인해 음영과 분리된 객체 부분을 처리하기 어려운 문제를 해결하기 위해 적응형 다각형 변형을 가능하게 한다.
• 사용자가 최소한의 수동 수정으로도 정확한 초기 다각형을 생성함으로써 인터랙티브 애노테이션 효율성을 향상시킨다.
• 다양한 백본 네트워크와 초기화 방법에 대해 일반화하면서도 일관된 성능 향상을 유지한다.
• 로봇 및 자율주행 시스템에 실시간 배포를 위해 실시간 추론을 가능하게 한다.

제안 방법

• 먼저, 입력 이미지에서 초기 인스턴스 마스크를 생성하기 위해 세그멘테이션 백본(예: DeepLabV3+)을 사용한다.
• 각 예측 마스크는 윤곽 추출을 통해 다각형 집합으로 변환되어 기하학적 초기화를 형성한다.
• 학습 가능한 변형 네트워크가 각 다각형의 정점별 이동량을 예측하며, 어텐션 또는 그래프 기반 메커니즘을 통해 정점 간 상호의존성을 모델링한다.
• 변형 과정은 미분 가능하므로, 객체 경계에 다각형이 정확히 맞추어지도록 엔드 투 엔드 학습이 가능하다.
• 최종으로 정제된 다각형은 세그멘테이션 예측과 인터랙티브 애노테이션 모두에 사용되며, 사용자가 직접 정점 수정이 가능하다.
• 이 방법은 객체당 다각형 수를 가변적으로 지원하여, 음영이나 분리된 인스턴스를 자연스럽게 처리할 수 있다.

실험 결과

연구 질문

• RQ1 표준 마스크 헤드 대비 다각형 기반 정밀도 향상 모듈이 인스턴스 세그멘테이션의 마스크 정밀도와 경계 정확도를 크게 향상시킬 수 있는가?
• RQ2 미분 가능한 다각형 변형 모듈이 다양한 세그멘테이션 백본과 초기화 품질 수준에 대해 얼마나 일반화되는가?
• RQ3 제안된 방법은 최신 인터랙티브 애노테이션 시스템과 비교해 애노테이션 속도와 정확도 측면에서 어떤가?
• RQ4 복잡한 음영과 모호한 객체 경계 조건에서도 모델이 높은 성능을 유지할 수 있는가?
• RQ5 실제 애노테이션 파이프라인에서 시스템의 추론 속도와 실용성은 어떠한가?

주요 결과

• PolyTransform는 Cityscapes 테스트 세트 리더보드에서 1위를 기록하며, 이전 SOTA 대비 3.7 AP 향상과 10.3점의 경계 지표 향상을 달성했다.
• Cityscapes 검증 세트에서 백본 모델의 성능을 3.0 AP 향상과 함께 경계 지표 10.3점 향상시켰다.
• 새로운 자율주행 데이터셋에서 초기화 성능을 2.1 AP 향상과 함께 경계 지표 5.6점 향상시켰다.
• 인터랙티브 애노테이션 환경에서, 이전 SOTA인 Curve GCN 대비 1px 임계값에서 경계 F1 스코어 2.0% 향상되었다.
• PolyTransform의 출력을 활용한 커뮤니티 기반 애노테이션은 기준 방법 대비 약 35% 빠른 애노테이션 시간을 확보했다.
• 모델은 인스턴스당 21ms 내외로 실행되어, Polygon-RNN++ 대비 14배 빠르고, Curve GCN 대비 1.4배 빠르며, 실시간 배포가 가능하다.