[논문 리뷰] Boundary-aware Instance Segmentation

Zeeshan Hayder, Xuming He외 1명|arXiv (Cornell University)|2016. 12. 09.

Advanced Neural Network Applications참고 문헌 31인용 수 9

한 줄 요약

이 논문은 물체 제안 박스의 경계를 초월해 마스크를 예측할 수 있도록 거리 변환 기반 표현을 사용하는 경계 인식 인스턴스 세분화 방법을 제안한다. 이는 잘못된 제안 박스에 대한 강건성을 향상시킨다. 물체 마스크 네트워크(OMN)는 잔차-디컨볼루션 아키텍처를 활용해 잘린 거리 맵을 정밀한 이진 마스크로 디코딩하며, PASCAL VOC 2012 및 Cityscapes에서 최신 기술 수준(SOTA) 성능을 달성한다. 특히 고 IoU 임계값에서 뛰어난 성능을 보인다.

ABSTRACT

We address the problem of instance-level semantic segmentation, which aims at jointly detecting, segmenting and classifying every individual object in an image. In this context, existing methods typically propose candidate objects, usually as bounding boxes, and directly predict a binary mask within each such proposal. As a consequence, they cannot recover from errors in the object candidate generation process, such as too small or shifted boxes. In this paper, we introduce a novel object segment representation based on the distance transform of the object masks. We then design an object mask network (OMN) with a new residual-deconvolution architecture that infers such a representation and decodes it into the final binary object mask. This allows us to predict masks that go beyond the scope of the bounding boxes and are thus robust to inaccurate object candidates. We integrate our OMN into a Multitask Network Cascade framework, and learn the resulting boundary-aware instance segmentation (BAIS) network in an end-to-end manner. Our experiments on the PASCAL VOC 2012 and the Cityscapes datasets demonstrate the benefits of our approach, which outperforms the state-of-the-art in both object proposal generation and instance segmentation.

연구 동기 및 목표

• 물체 제안 생성 오류(예: 이동하거나 너무 작은 경계 상자)에 민감한 인스턴스 세분화 방법의 문제를 해결하기 위해.
• 초기 제안의 공간 범위에 제약을 받지 않는 마스크 예측 메커니즘을 개발하기 위해.
• 경계 인식 표현을 활용해 향상된 세분화 정확도를 달성하는 완전히 미분 가능한 엔드 투 엔드 학습 가능한 네트워크를 설계하기 위해.
• 제안된 방법이 인스턴스 세분화 및 물체 제안 생성 작업 양쪽에서 평가되어, 그 유연성과 열등함을 입증하기 위해.

제안 방법

• 각 물체 세그먼트를 제안 박스 내의 각 픽셀에서 물체 경계까지의 최소 거리의 잘린 값을 인코딩하는 다중 값 맵으로 표현한다.
• 잘린 거리 값들을 이산화하고 각 픽셀에 대해 이진 벡터로 인코딩하여 문제를 픽셀 단위의 레이블링 작업으로 변환한다.
• 이진 벡터 표현의 각 비트에 대한 확률 맵을 예측하기 위해 잔차-디컨볼루션 네트워크를 사용하여 공간적 업샘플링과 마스크 재구성 가능하게 한다.
• 예측된 거리 맵을 역거리 변환하여 원래 경계 상자 외부로 확장 가능한 최종 이진 마스크로 변환한다.
• 멀티태스크 네트워크 캐스케이드 프레임워크에 물체 마스크 네트워크(OMN)를 통합하여 인스턴스 수준의 세분화를 위한 엔드 투 엔드 학습을 가능하게 한다.
• 원래 RPN 점수는 상자 외부로 확장하는 마스크에 적합하지 않기 때문에, 제안 생성을 위한 재순서 점수 함수를 학습시켜 기준 모델과 공정한 비교를 수행한다.

실험 결과

연구 질문

• RQ1 거리 변환 기반 표현이 잘못된 물체 제안에 대한 인스턴스 세분화의 강건성을 향상시킬 수 있는가?
• RQ2 잔차-디컨볼루션 네트워크 아키텍처가 잘린 거리 맵에서 정확한 마스크 디코딩을 가능하게 하며, 제안 상자 외부로도 예측을 가능하게 할 수 있는가?
• RQ3 제안된 물체 마스크 네트워크(OMN)가 최신 기술 수준의 방법과 비교해 높은 품질의 세그먼트 제안을 생성할 수 있는가?
• RQ4 경계 인식 인스턴스 세분화(BAIS) 프레임워크가 PASCAL VOC 2012 및 Cityscapes와 같은 도전적인 벤치마크에서 기존 방법을 초월하는가?

주요 결과

• PASCAL VOC 2012에서 제안된 BAIS 프레임워크는 특히 고 IoU 임계값에서 최신 기술 수준(SOTA) 성능을 달성하며, 정밀한 세분화의 영역에서 기존 방법을 능가한다.
• OMN은 PASCAL VOC 2012에서 AR@10이 47.8, AR@100이 51.8을 기록하여 최고의 베이스라인(MNC+score)보다 각각 2.1점과 2.7점 높다.
• Cityscapes에서는 복잡한 시나리오에서 다중 겹치는 물체가 존재하는 상황에서도 정확하고 세밀한 인스턴스 수준의 세분화를 생성한다.
• 10개 또는 100개의 제안을 사용할 경우, 고 IoU 임계값에서 모든 기준 모델을 능가하며, 이는 실용적인 인스턴스 세분화 파이프라인에서 일반적인 설정이다.
• 실패 사례는 일반적으로 한 개의 인스턴스가 여러 개의 세그먼트로 분할되는 경우로, 가까이 있는 또는 겹치는 물체를 다루는 데 어려움을 겪는다는 것을 시사한다.
• 절단 분석 결과, 상자 외부로 마스크를 확장할 수 있도록 허용하면 성능 향상이 이루어지며, 예측을 상자 내부로 제한하는 베이스라인 모델은 제안된 방법보다 성능이 열 劣하다.