[논문 리뷰] Instance-aware Semantic Segmentation via Multi-task Network Cascades

Jifeng Dai, Kaiming He외 1명|arXiv (Cornell University)|2015. 12. 14.

Advanced Neural Network Applications참고 문헌 29인용 수 81

한 줄 요약

이 논문은 인스턴스 인식 세분화를 위한 새로운 엔드 투 엔드 딥 러닝 프레임워크인 멀티태스크 네트워크 카스케이드(MNC)를 제안한다. MNC는 작업을 세 단계의 연쇄된 하위 작업으로 분해한다: 인스턴스 구분, 마스크 추정, 객체 분류. 단계 간 공유된 특징과 공간 좌표를 통한 미분 가능한 역전파를 통해, VGG-16를 사용할 때 이미지당 360ms로 실행되며 PASCAL VOC(63.5% mAP)와 MS COCO(28.2% mAP@[.5:.95])에서 최신 기준 성능을 달성한다. 이는 이전 방법보다 두 배수 빠른 속도이다.

ABSTRACT

Semantic segmentation research has recently witnessed rapid progress, but many leading methods are unable to identify object instances. In this paper, we present Multi-task Network Cascades for instance-aware semantic segmentation. Our model consists of three networks, respectively differentiating instances, estimating masks, and categorizing objects. These networks form a cascaded structure, and are designed to share their convolutional features. We develop an algorithm for the nontrivial end-to-end training of this causal, cascaded structure. Our solution is a clean, single-step training framework and can be generalized to cascades that have more stages. We demonstrate state-of-the-art instance-aware semantic segmentation accuracy on PASCAL VOC. Meanwhile, our method takes only 360ms testing an image using VGG-16, which is two orders of magnitude faster than previous systems for this challenging problem. As a by product, our method also achieves compelling object detection results which surpass the competitive Fast/Faster R-CNN systems. The method described in this paper is the foundation of our submissions to the MS COCO 2015 segmentation competition, where we won the 1st place.

연구 동기 및 목표

• 외부 마스크 제안 모듈에 의존하지 않고 인스턴스 인식 세분화 과제를 해결하기 위해.
• 효율성과 향상된 특징 학습을 위해 하위 작업 간 특징을 공유하는 다중 태스크, 연쇄된 딥 러닝 아키텍처를 설계하기 위해.
• 예측된 바운딩 박스의 공간 좌표를 통해 역전파가 가능한 인과적, 연쇄된 네트워크 구조를 엔드 투 엔드로 훈련할 수 있도록 하기 위해.
• 낮은 추론 시간을 유지하면서도 높은 정확도를 달성하여 실세계 적용에 적합한 인스턴스 세분화를 실현하기 위해.
• PASCAL VOC와 MS COCO 벤치마크에서 모두 최신 기준 성능을 달성함으로써 강력한 일반화 능력을 입증하기 위해.

제안 방법

• 이 방법은 세 단계의 연쇄 네트워크를 사용한다: (1) 인스턴스 구분을 위한 클래스 무관 바운딩 박스 예측, (2) 각 인스턴스별 픽셀 수준의 마스크 추정, (3) 각 인스턴스의 카테고리 분류.
• 모든 단계는 동일한 초기 합성곱 특징 맵을 공유하여 계산량을 줄이고 특징 일관성을 향상시킨다.
• 예측된 바운딩 박스의 공간 좌표를 통한 역전파를 허용하기 위해 미분 가능한 레이어를 도입하여 인과적 카스케이드의 엔드 투 엔드 훈련을 가능하게 한다.
• 이 프레임워크는 더 많은 단계로 확장 가능하며, 특징 맵과 상자 좌표에 대한 기울기를 모두 계산하여 체인 규칙을 사용해 단일 역전파 단계로 훈련된다.
• 각 단계에 표준 분류 및 회귀 손실을 사용해 엔드 투 엔드 훈련을 수행하며, IoU 기반 샘플링을 통해 마스크 제안의 양성/음성 예측을 한다.
• 이 방법은 더 깊은 네트워크(예: ResNet-101)로도 잘 일반화되며, 다중 해상도 테스트 및 전역적 맥락 모델링을 지원해 정확도 향상에 기여한다.

실험 결과

연구 질문

• RQ1 외부 마스크 제안 모듈에 의존하지 않고도 연쇄적이고 다중 태스크 딥 러닝 프레임워크가 인스턴스 인식 세분화에서 높은 정확도를 달성할 수 있는가?
• RQ2 서로 의존하는 출력을 가진 인과적 다단계 네트워크는 공간 좌표를 통한 기울기 흐름을 유지하면서 어떻게 엔드 투 엔드로 훈련될 수 있는가?
• RQ3 하위 작업 간 특징 공유가 인스턴스 세분화에서 정확도와 추론 속도 향상에 얼마나 기여할 수 있는가?
• RQ4 제안된 프레임워크는 더 깊은 아키텍처로 일반화되어 대규모 벤치마크인 MS COCO에서 최신 기준 성능을 달성할 수 있는가?
• RQ5 엔드 투 엔드, 단일 단계 훈련 프레임워크는 이전의 이단계 또는 제안 기반 방법보다 더 높은 성능을 낼 수 있는가?

주요 결과

• PASCAL VOC 2012 데이터셋에서 MNC는 63.5% mAP@[.5:.95]를 달성했으며, 동일한 VGG-16 백본을 사용한 이전 최신 기준 방법보다 3.0% 향상되었다.
• VGG-16를 사용할 때 이미지당 360ms로 실행되며, 이는 이전 시스템이 느린 마스크 제안 모듈에 의존한 것보다 두 배수 빠른 속도이다.
• MS COCO 2015 테스트-디브 세트에서 ResNet-101을 사용한 MNC는 24.6% mAP@[.5:.95]를 기록했으며, VGG-16 대비 26% 상대적 향상이 있었고, 앙상블 및 다중 해상도 테스트를 거친 후 28.2% mAP를 달성했다.
• 박스 수준의 출력을 활용해 VOC 2007+2012에서 객체 검출에 대해 75.9% mAP를 기록했으며, Faster R-CNN 및 Fast R-CNN 시스템을 초월했다.
• MNC는 MS COCO 2015 인스턴스 세분화 트랙에서 1등을 차지하여 실용적 효과성과 확장성의 우수함을 입증했다.
• 엔드 투 엔드 훈련 프레임워크는 더 깊은 표현과 대규모 애너테이션을 아키텍처나 훈련 복잡도 없이도 효과적으로 활용할 수 있도록 해주었다.