[논문 리뷰] MaskLab: Instance Segmentation by Refining Object Detection with Semantic and Direction Features

Liang-Chieh Chen, Alexander Hermans외 4명|arXiv (Cornell University)|2017. 12. 13.

Advanced Neural Network Applications참고 문헌 69인용 수 35

한 줄 요약

MaskLab는 Faster R-CNN에서 유도된 객체 검출 제안을 통합된 세분화 및 방향 예측을 통해 정교화함으로써 전경/배경 분리 및 인스턴스 간 구분을 향상시키는 새로운 인스턴스 세분화 프레임워크를 제안한다. COCO에서 최고 성능을 기록하며, ResNet-101과 JFT 미사전학습을 사용할 경우 43.0%의 마스크 AP를 달성하여 Mask R-CNN 변종 및 더 복잡한 모델에 뒤지지 않는다.

ABSTRACT

In this work, we tackle the problem of instance segmentation, the task of simultaneously solving object detection and semantic segmentation. Towards this goal, we present a model, called MaskLab, which produces three outputs: box detection, semantic segmentation, and direction prediction. Building on top of the Faster-RCNN object detector, the predicted boxes provide accurate localization of object instances. Within each region of interest, MaskLab performs foreground/background segmentation by combining semantic and direction prediction. Semantic segmentation assists the model in distinguishing between objects of different semantic classes including background, while the direction prediction, estimating each pixel's direction towards its corresponding center, allows separating instances of the same semantic class. Moreover, we explore the effect of incorporating recent successful methods from both segmentation and detection (i.e. atrous convolution and hypercolumn). Our proposed model is evaluated on the COCO instance segmentation benchmark and shows comparable performance with other state-of-art models.

연구 동기 및 목표

• 픽셀 수준의 정확도로 동시에 객체 인스턴스를 검출하고 세분화하는 데 도전하는 것.
• 이전 방법들이 배경을 중복으로 인코딩하거나 인스턴스 간 분리에 복잡한 후처리를 필요로 하는 한계를 극복하는 것.
• 영역 제안 내에서 세분화 분류 및 중심 방향 예측을 결합함으로써 마스크 품질 향상과 인스턴스 간 구분 개선을 위한 것.
• 아트로우스 컨볼루션, 하이퍼컬럼, 변형 가능 연산과 같은 최근 세분화 및 검출 분야의 발전을 활용하여 특징 표현을 향상시키는 것.

제안 방법

• MaskLab는 Faster R-CNN을 확장하여 세 가지 출력을 생성한다: 바운딩 박스 검출, 각 클래스별 세분화 로짓, 각 픽셀의 인스턴스 중심 향한 방향 예측 로짓.
• 각 영역 관심(ROI) 내에서 예측된 클래스에 기반해 세분화 로짓을 자르고, 방향 풀링을 수행하여 ROI 내에서 방향 특징을 집계한다.
• 자른 세분화 및 방향 특징을 연결하여 1×1 컨볼루션을 통과시켜 전경/배경 세분화 마스크를 예측한다.
• 밀도 있는 특징 추출을 위해 아트로우스 컨볼루션을, 다중 스케일 컨텍스트를 위해 하이퍼컬럼 특징을, 다양한 수신장 크기를 캡처하기 위해 멀티그리드 설정을 도입한다.
• 유사한 ROI 샘플링을 학습하기 위해 새로운 텐서플로우 연산인 '변형 가능한 자르기 및 크기 조정'을 도입하여, 맥락적 영역에 집중함으로써 검출 및 세분화 성능을 향상시킨다.
• 직접적인 방향 로짓 사용을 통해 복잡한 템플릿 매칭을 피하고, 미분 가능하게 처리함으로써 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 R-CNN 스타일의 제안 내에서 세분화 및 방향 예측을 결합하면 모델 복잡도 증가 없이도 인스턴스 세분화 정확도 향상이 가능한가?
• RQ2 이전 방법이 위치 민감도 스코어 맵이나 템플릿 매칭만을 사용하는 것과 비교해, 세분화 및 방향 특징 통합이 어떤가?
• RQ3 아트로우스 컨볼루션, 하이퍼컬럼, 변형 가능 연산과 같은 고급 모듈이 인스턴스 세분화 성능 향상에 얼마나 기여하는가?
• RQ4 정교화된 마스크 예측을 갖춘 검출 기반 접근법이 Mask R-CNN이나 FCIS와 같은 최고 수준의 모델과 경쟁 가능한 성능을 낼 수 있는가?

주요 결과

• MaskLab는 ResNet-101 기반으로 JFT 미사전학습을 사용할 경우 COCO test-dev에서 43.0%의 마스크 AP를 기록하며, ResNet-101 기반 Mask R-CNN를 능가하고 더 복잡한 모델과 동등한 성능을 달성한다.
• 학습 시 스케일 증강을 적용한 MaskLab+는 덜 강력한 백본을 사용함에도 불구하고, G-RMI와 TDM를 능가하는 41.9% mAP를 기록한 박스 검출 성능을 확보한다.
• 모델은 세분화 분류가 배경을 중복으로 인코딩하는 것을 방지하여, 내부/외부 스코어 맵을 사용하는 FCIS와 비교해 효율성과 정확도를 향상시킨다는 것을 입증한다.
• 변형 가능한 자르기 및 크기 조정은 객체 주변의 원형 맥락을 학습함으로써 더 장거리 맥락을 포착함으로써 검출 성능을 향상시키며, 특징 맵에서 이를 시각화할 수 있다.
• 실패 케이스는 주로 검출 오류(누락 또는 잘못된 분류된 박스)와粗안한 경계 예측에서 기인하며, 이는 검출 신뢰도가 여전히 핵심적 한계임을 시사한다.
• 제거 분석 결과, 세분화 및 방향 특징 둘 다 필수적이며, 각 구성 요소가 최종 성능에 크게 기여한다는 것이 확인된다.