[논문 리뷰] Proposal-free Network for Instance-level Object Segmentation

Xiaodan Liang, Yunchao Wei외 4명|arXiv (Cornell University)|2015. 09. 09.

Advanced Neural Network Applications참고 문헌 17인용 수 105

한 줄 요약

이 논문은 영역 제안 생성을 필요로 하지 않고, 각 픽셀의 인스턴스 위치와 카테고리 수를 직접 예측함으로써, 영역 제안 생성 없이도 엔드 투 엔드 학습이 가능한 인스턴스 수준 객체 분할을 위한 제안 없음 네트워크(PFN)를 제안한다. 유사한 예측 인스턴스 위치를 가진 픽셀을 군집화함으로써, PFN은 PASCAL VOC 2012에서 0.5 IoU 기준으로 58.7%의 AP^r을 달성하며, 이는 이전 최고 성능 방법들보다 뚜렷이 뛰어나다.

ABSTRACT

Instance-level object segmentation is an important yet under-explored task. The few existing studies are almost all based on region proposal methods to extract candidate segments and then utilize object classification to produce final results. Nonetheless, generating accurate region proposals itself is quite challenging. In this work, we propose a Proposal-Free Network (PFN ) to address the instance-level object segmentation problem, which outputs the instance numbers of different categories and the pixel-level information on 1) the coordinates of the instance bounding box each pixel belongs to, and 2) the confidences of different categories for each pixel, based on pixel-to-pixel deep convolutional neural network. All the outputs together, by using any off-the-shelf clustering method for simple post-processing, can naturally generate the ultimate instance-level object segmentation results. The whole PFN can be easily trained in an end-to-end way without the requirement of a proposal generation stage. Extensive evaluations on the challenging PASCAL VOC 2012 semantic segmentation benchmark demonstrate that the proposed PFN solution well beats the state-of-the-arts for instance-level object segmentation. In particular, the $AP^r$ over 20 classes at 0.5 IoU reaches 58.7% by PFN, significantly higher than 43.8% and 46.3% by the state-of-the-art algorithms, SDS [9] and [16], respectively.

연구 동기 및 목표

• 영역 제안 방법에 의존하지 않고 인스턴스 수준 객체 분할 문제를 해결하고자 한다.
• 복잡한 사전 처리 및 사후 처리 단계를 제거함으로써 분할 파이프라인을 단순화하고자 한다.
• 픽셀 수준의 딥 컨볼루션 특징만을 사용하여 엔드 투 엔드 학습을 가능하게 하고자 한다.
• 제안 기반 방법이 자주 실패하는 가림, 혼잡 및 복잡한 시나리오에서의 성능 향상을 위해 노력하고자 한다.

제안 방법

• 네트워크는 각 픽셀에 대해 속해 있는 인스턴스 바운딩 박스의 좌표와 각 카테고리에 대한 신뢰도 점수를 예측한다.
• 추론 시 군집화를 안내하기 위해 카테고리별 인스턴스 수를 출력한다.
• 오프더샤프트 스펙트럴 군집화를 사용하여 픽셀 수준의 인스턴스 위치 예측을 군집화하여 객체 인스턴스 마스크를 형성한다.
• 카테고리 분류와 인스턴스 위치 회귀를 결합한 다중 작업 손실을 사용하여 엔드 투 엔드로 모델을 학습시킨다.
• 영역 제안 생성을 회피함으로써 계산 비용을 감소시키고 파이프라인을 단순화한다.
• 특히 가림되거나 혼잡한 시나리오에서 정위치화 성능을 향상시키기 위해 전역적 맥락을 활용한다.

실험 결과

연구 질문

• RQ1 높은 정확도를 유지하면서 영역 제안 생성 없이도 인스턴스 수준 객체 분할을 달성할 수 있는가?
• RQ2 픽셀 수준 예측에 대한 엔드 투 엔드 학습이 다단계 제안 기반 파이프라인과 비교해 어떻게 성능을 내는가?
• RQ3 정확한 픽셀 수준의 인스턴스 위치 예측이 최종 분할 성능에 얼마나 큰 영향을 미치는가?
• RQ4 스펙트럴 군집화와 같은 간단한 사후 처리가 예측된 위치에서 효과적으로 인스턴스 마스크를 복원할 수 있는가?
• RQ5 중요한 가림이나 작은 객체 인스턴스와 같은 도전적인 케이스에서 이 방법의 성능은 어떠한가?

주요 결과

• PFN은 PASCAL VOC 2012에서 0.5 IoU 기준으로 58.7%의 AP^r을 달성하며, 이는 이전 최고 성능 방법인 SDS(43.8%)와 [16](46.3%)를 뛰어넘는 성과이다.
• 절단 분석 결과, 지표값 기반 상한선(64.7%)과 PFN 간의 성능 격차가 뚜렷하게 나타나, 정확한 인스턴스 위치 예측이 핵심임을 확인한다.
• 가림, 배경 혼잡, 다양한 객체 외형이 있는 복잡한 시나리오에서도 우수한 성능를 보였다.
• 시각화 결과, PFN이 가려진 객체나 작은 객체 인스턴스를 효과적으로 구분하고 분할할 수 있음을 확인했다.
• 실패 케이스는 주로 극도로 가려진 또는 매우 작은 객체 인스턴스에서 관찰되며, 이러한 상황에서의 향상 여지가 있음을 시사한다.
• 영역 제안 및 복잡한 사후 처리가 없기 때문에 제안 기반 방법보다 계산적으로 효율적이고 단순한 구조를 가진다.