[논문 리뷰] SSAP: Single-Shot Instance Segmentation With Affinity Pyramid

Naiyu Gao, Yanhu Shan외 5명|arXiv (Cornell University)|2019. 09. 04.

Advanced Image and Video Retrieval Techniques참고 문헌 50인용 수 30

한 줄 요약

이 논문은 하나의 순방향 전파에서 의미 클래스 레이블링과 인스턴스 인식 특징 학습을 동시에 학습하는 단일 스풍, 프로포절 없는 인스턴스 세분화 방법인 SSAP을 제안한다. 계층적인 픽셀 쌍 유사도 피라미드를 사용하여, 이는 도시 환경에서 36.9%의 PQ로 기존 방법보다 5배 빠른 속도와 9% 상대적인 AP 향상을 달성하며, 새로운 최고 성능을 기록한다.

ABSTRACT

Recently, proposal-free instance segmentation has received increasing attention due to its concise and efficient pipeline. Generally, proposal-free methods generate instance-agnostic semantic segmentation labels and instance-aware features to group pixels into different object instances. However, previous methods mostly employ separate modules for these two sub-tasks and require multiple passes for inference. We argue that treating these two sub-tasks separately is suboptimal. In fact, employing multiple separate modules significantly reduces the potential for application. The mutual benefits between the two complementary sub-tasks are also unexplored. To this end, this work proposes a single-shot proposal-free instance segmentation method that requires only one single pass for prediction. Our method is based on a pixel-pair affinity pyramid, which computes the probability that two pixels belong to the same instance in a hierarchical manner. The affinity pyramid can also be jointly learned with the semantic class labeling and achieve mutual benefits. Moreover, incorporating with the learned affinity pyramid, a novel cascaded graph partition module is presented to sequentially generate instances from coarse to fine. Unlike previous time-consuming graph partition methods, this module achieves $5 imes$ speedup and 9% relative improvement on Average-Precision (AP). Our approach achieves state-of-the-art results on the challenging Cityscapes dataset.

연구 동기 및 목표

• 의미 레이블링과 인스턴스 그룹화를 별도의 모듈로 처리하는 기존의 프로포절 없는 인스턴스 세분화 방법의 비효율성과 열등한 성능을 해결하기 위해.
• 두 작업 간 상호 이점을 활용하기 위해 의미 클래스 예측과 인스턴스 인식 유사도 계산을 공동으로 학습할 수 있도록 하기 위해.
• 저해상도에서 고해상도 특징 맵으로의 계층적 유사도를 활용하여, 계단식 그래프 분할 모듈을 설계함으로써 추론 속도를 가속화하기 위해.
• 영역 프로포절에 의존하지 않고 도전적인 벤치마크인 Cityscapes에서 최고 성능을 달성하기 위해.

제안 방법

• 짧은 거리와 긴 거리 유사도를 모두 활용하여 두 픽셀이 같은 인스턴스에 속할 확률을 계산하는 픽셀 쌍 유사도 피라미드를 제안한다.
• 짧은 거리 유사도에는 조밀한 작은 수신장과, 긴 거리 유사도에는 희소하고 저해상도의 특징 맵을 사용하며, 다중 해상도 U-Net 특징 간에 분리된 방식으로 처리한다.
• 의미 세분화 예측과 유사도 피라미드를 통합하여 하나의 단일 백본 네트워크에서 공동 최적화를 수행한다.
• 유사도에서 생성된 그래프를 기반으로 하부에서 상부로 점진적으로 정밀도를 높이는 계단식 그래프 분할 모듈을 도입한다.
• 낮은 층의 고해상도 예측을 활용하여 고해상도 그래프 분할에서 노드 수를 줄여 5배의 속도 향상을 달성한다.
• 하나의 저해상도 결과에서의 신뢰도를 활용하여 고해상도 분할을 지도하고 가속화하는 계층적, 하향식 그래프 분할 전략을 채택한다.

실험 결과

연구 질문

• RQ1 의미 세분화와 인스턴스 인식 유사도 계산의 공동 학습이 프로포절 없는 인스턴스 세분화의 성능 향상에 기여할 수 있는가?
• RQ2 계층적 유사도 피라미드가 인스턴스 그룹화를 위해 픽셀 간 국소적 관계와 장거리 관계를 효과적으로 모델링할 수 있는가?
• RQ3 다양한 해상도 수준 간의 계단식 그래프 분할이 정확도를 유지하거나 향상시키면서 추론 시간을 크게 줄일 수 있는가?
• RQ4 단일 스푸, 엔드 투 엔드 학습 가능한 프레임워크가 벤치마크 데이터셋에서 다단계 프로포절 기반 또는 다단계 프로포절 없는 방법보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• 제안된 방법은 Cityscapes 검증 세트에서 36.9%의 PQ를 달성하여, 프로포절 없는 방법 중에서 새로운 최고 성능을 기록하였다.
• 의미 레이블링과 유사도 예측의 공동 학습은 상호 보완적 성능 향상을 이끌었으며, 비공동 기반 베이스라인 대비 9% 상대적인 AP 향상을 달성하였다.
• 계단식 그래프 분할 모듈은 비계단식 대비 5배의 추론 속도 향상을 달성하면서도 AP를 9% 상대적으로 향상시켰다.
• COCO 테스트-dev 세트에서 자동차 인스턴스에 대해 32.7%의 AP와 55.9%의 PQ를 기록하여, DeeperLab와 같은 이전의 프로포절 없는 방법을 초월하였다.
• 시각적 결과는 사람이나 기둥에 일부가 가려진 차량과 같이 부분적으로 가려진 또는 분리된 객체를 정확하게 그룹화하는 데 성공하였다.
• 이 방법은 도시 환경을 초월하여 COCO에서도 우수한 성능을 보이며, 프로포절 생성 없이도 잘 일반화됨을 보였다.