[논문 리뷰] Deep Affinity Net: Instance Segmentation via Affinity

Xingqian Xu, Mang Tik Chiu외 2명|arXiv (Cornell University)|2020. 03. 15.

Advanced Neural Network Applications참고 문헌 51인용 수 10

한 줄 요약

딥 약점 넷(DaffNet)은 영역이나 키포인트에 의존하지 않고 픽셀 수준의 약점(affinity)을 예측하고, 새로운 계층적 그래프 분할 알고리즘인 캐스케이드-GAEC를 사용하여 인스턴스 세그멘테이션을 수행하는 약점 기반 프레임워크를 제안한다. Cityscapes 검증 세트에서 32.4% AP, 테스트 세트에서 27.5% AP를 기록하며 이전의 약점 기반 모델들과 마스크 R-CNN를 능가하며, 이전 방법들보다 7배 빠른 속도로 실행된다.

ABSTRACT

Most of the modern instance segmentation approaches fall into two categories: region-based approaches in which object bounding boxes are detected first and later used in cropping and segmenting instances; and keypoint-based approaches in which individual instances are represented by a set of keypoints followed by a dense pixel clustering around those keypoints. Despite the maturity of these two paradigms, we would like to report an alternative affinity-based paradigm where instances are segmented based on densely predicted affinities and graph partitioning algorithms. Such affinity-based approaches indicate that high-level graph features other than regions or keypoints can be directly applied in the instance segmentation task. In this work, we propose Deep Affinity Net, an effective affinity-based approach accompanied with a new graph partitioning algorithm Cascade-GAEC. Without bells and whistles, our end-to-end model results in 32.4% AP on Cityscapes val and 27.5% AP on test. It achieves the best single-shot result as well as the fastest running time among all affinity-based models. It also outperforms the region-based method Mask R-CNN.

연구 동기 및 목표

• 영역이나 키포인트가 아닌 학습된 픽셀 약점에 기반한 인스턴스 세그멘테이션의 새로운 패러다임을 제안하는 것.
• 고정 격자 약점 예측의 한계와 멀티컷 그래프 분할의 높은 계산 비용을 해결하는 것.
• 단일 스포트 추론과 저비용 추론 시간을 동시에 확보하는 가용성 있는 종단 간 모델을 개발하는 것.
• 약점 기반 방법이 마스크 R-CNN와 같은 영역 기반 모델보다 정확도와 속도 면에서 뛰어날 수 있음을 입증하는 것.

제안 방법

• DaffNet는 다양한 해상도에서 세분성 맵, 약점 맵, 군집화 임베딩을 생성하기 위해 피처 피라미드 네트워크(FPN) 백본을 사용한다.
• 새로운 군집화 모듈은 임의의 격자 간격을 넘어서는 약점 예측과 활용을 가능하게 하여 분리된 부분의 세그멘테이션 재구성 성능을 향상시킨다.
• 캐스케이드-GAEC는 게으른 멀티컷 알고리즘인 GAEC를 계층적 구조와 융합하여 저해상도 맵부터 처리하고 고해상도 세그멘테이션을 정밀하게 보정한다.
• 위치 인식 GAEC(PA-GAEC)는 그래프 분할 과정에서 레이블 할당 시 공간적 맥락을 통합함으로써 정확도를 향상시킨다.
• 게으른 연관 모듈(GAS)은 비용이 많이 드는 우선순위 큐 연산을 무작위 순서의 레이블 할당으로 대체하여 처리 속도를 향상시킨다.
• 최적의 성능를 위해 다중 해상도 약점 손실을 사용하며, 가중치 감쇠(0.25, 0.5, 1, 1)를 적용하여 종단 간 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 배경 상자나 키포인트에 의존하지 않고 학습된 약점 신호를 주요 입력으로 사용하여 인스턴스 세그멘테이션을 효과적으로 해결할 수 있는가?
• RQ2 약점 예측을 고정 격자 간격을 초월하여 복잡하고 분할된 인스턴스의 세그멘테이션 성능을 향상시키기 위해 어떻게 확장할 수 있는가?
• RQ3 계층적 그래프 분할 전략은 계산 비용을 줄이면서도 세그멘테이션 정확도를 유지하거나 향상시킬 수 있는가?
• RQ4 멀티컷 기반 세그멘테이션에서 게으른 가속 기법을 사용할 경우 정확도와 속도 사이의 상호 보완적 관계는 어떠한가?

주요 결과

• DaffNet는 단일 스포트 추론을 사용하여 Cityscapes 검증 세트에서 32.4% AP, 테스트 세트에서 27.5% AP를 기록하며, 이전의 모든 약점 기반 모델을 능가한다.
• 모델은 영역 기반 마스크 R-CNN를 초월하여 더 높은 정확도와 더 빠른 추론 속도를 확보한다.
• 캐스케이드-GAEC는 한 장의 Cityscapes 이미지를 약 0.24초 내에 처리하며, 이는 이전 최고 성능 방법보다 약 7배 빠른 속도이다.
• 제거 분석 결과 군집화 모듈이 4.2%의 AP 향상을 기여했고, PA-GAEC는 1.6%의 향상을, 전체 캐스케이드-GAEC에 GAS를 적용하면 32.4%의 AP를 달성함을 확인했다.
• GAS 가속 모듈을 사용하면 이미지당 추론 시간이 0.14초 감소하지만, 검증 세트에서는 0.4%의 AP 감소, 테스트 세트에서는 0.5%의 AP 감소가 발생한다.
• 캐스케이드-GAEC의 실질적 실행 시간은 이미지 크기와 약선형 관계를 보이며, 고해상도 입력에 대한 효율적 확장이 가능하다.