[논문 리뷰] Path Aggregation Network for Instance Segmentation

Shu Liu, Lu Qi외 3명|arXiv (Cornell University)|2018. 03. 05.

Advanced Neural Network Applications참고 문헌 66인용 수 350

한 줄 요약

PANet는 Mask R-CNN 스타일 아키텍처의 정보 흐름을 향상시키는 bottom-up 경로 보강, 모든 피처 레벨에서의 적응형 피처풀링, 보완적인 마스크 예측 가지를 추가하여 COCO, Cityscapes, MVD에서 대형 배치 학습 없이도 최상위 성능을 달성합니다.

ABSTRACT

The way that information propagates in neural networks is of great importance. In this paper, we propose Path Aggregation Network (PANet) aiming at boosting information flow in proposal-based instance segmentation framework. Specifically, we enhance the entire feature hierarchy with accurate localization signals in lower layers by bottom-up path augmentation, which shortens the information path between lower layers and topmost feature. We present adaptive feature pooling, which links feature grid and all feature levels to make useful information in each feature level propagate directly to following proposal subnetworks. A complementary branch capturing different views for each proposal is created to further improve mask prediction. These improvements are simple to implement, with subtle extra computational overhead. Our PANet reaches the 1st place in the COCO 2017 Challenge Instance Segmentation task and the 2nd place in Object Detection task without large-batch training. It is also state-of-the-art on MVD and Cityscapes. Code is available at https://github.com/ShuLiu1993/PANet

연구 동기 및 목표

• 제안 기반 인스턴스 분할 프레임워크 내 정보 흐름의 개선을 촉진한다.
• 하향-상향 보강을 통해 정보 경로를 단축시켜 로컬라이제이션 신호를 강화한다.
• 적응형 풀링을 통해 각 제안이 모든 피처 레벨의 정보에 접근할 수 있도록 한다.
• 마스크 분기에 보완적 예측 경로를 추가하여 마스크 품질을 향상시킨다.
• 대형 배치 학습 없이 COCO, Cityscapes, MVD 데이터셋에서 최첨단 성능을 보여준다.

제안 방법

• 저수준 피처에서 최상위 피처까지의 정보 경로를 단축하기 위한 bottom-up 경로 보강을 도입한다.
• 각 제안에 대해 피라미드 모든 레벨의 피처를 융합하기 위한 적응형 피처 풀링을 개발한다.
• 마스크 예측 분기에 작은 fully-connected(fc) 융합 분기를 사용한 보완 경로를 추가하여 마스크 예측의 다양성을 높인다.
• 다중 레벨의 피처를 ROIAlign을 사용해 박스 및 마스크 예측에 풀링하고, 그 다음 최대/합 융합 및 레이어별 매개변수 학습을 수행한다.
• FCN 기반 분기와 FC(fully-connected) 분기의 예측을 융합하여 마스크 품질을 향상시킨다.
• 기존 백본(예: ResNet 계열)과의 호환성을 유지하고 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 하향-상향 경로 보강이 상향식 FPN 경로의 특징을 넘어서 로컬라이제이션 신호와 전체 인스턴스 분할 성능을 향상시키는가?
• RQ2 각 제안마다 모든 피처 피라미드 레벨의 정보를 집약하는 적응형 피처 풀링이 레벨별 할당 풀링보다 더 나은 예측을 생성하는가?
• RQ3 마스크 분기의 보완적 fc 기반 경로가 계산 비용이 지나치지 않으면서 마스크 품질을 향상시킬 수 있는가?
• RQ4 제안된 PANet 구성 요소가 단일 스케일 및 다중 스케일 학습/테스트에서 COCO, Cityscapes, MVD 데이터셋의 성능에 어떻게 영향을 미치는가?

주요 결과

• PANet은 COCO 2017 Instance Segmentation(1위) 및 Object Detection(2위)에서 대형 배치 학습 없이 최첨단 성능을 달성했다.
• 적응형 피처 풀링은 제안이 다수 피처 레벨의 정보를 활용하게 하고, 작은 인스턴스와 큰 인스턴스 모두의 성능을 향상시킨다.
• Bottom-up 경로 보강은 기본선 대비 마스크 AP와 박스 AP를 지속적으로 개선하며, 특히 대규모 인스턴스에서 그렇다.
• 마스크 분기의 Fully-connected 융합은 마스크 품질의 추가 이점을 제공하고 전체 성능 향상에 기여한다.
• 비제시 연구는 bottom-up 보강, 적응형 풀링 및 fc 융합의 조합이 COCO val2017에서 재구현된 기본선 대비 마스크 AP 및 박스 AP에서 상당한 이득을 준다.
• PANet은 Cityscapes와 MVD에서도 강력한 성능을 달성하여 데이터셋 간의 강인성을 보여준다.