[논문 리뷰] Concatenated Feature Pyramid Network for Instance Segmentation

Yongqing Sun, Pranav Shenoy K P외 2명|arXiv (Cornell University)|2019. 03. 16.

Advanced Neural Network Applications참고 문헌 20인용 수 4

한 줄 요약

이 논문은 저수준 특징(경계, 질감)과 고수준 의미적 특징을 피라미드의 모든 수준에서 연결(concatenation)과 새로운 인셉션 유사 모듈을 사용해 융합함으로써 인스턴스 세그멘테이션 성능을 향상시키는 연결형 피처 피라미드 네트워크(CFPN)를 제안한다. 이 방법은 COCO에서 Mask R-CNN 대비 마스크 정확도와 AP를 0.9 향상시키며, 계산 비용은 최소화하고 백본 외 추가 파라미터 없이도 성능 향상을 달성한다.

ABSTRACT

Low level features like edges and textures play an important role in accurately localizing instances in neural networks. In this paper, we propose an architecture which improves feature pyramid networks commonly used instance segmentation networks by incorporating low level features in all layers of the pyramid in an optimal and efficient way. Specifically, we introduce a new layer which learns new correlations from feature maps of multiple feature pyramid levels holistically and enhances the semantic information of the feature pyramid to improve accuracy. Our architecture is simple to implement in instance segmentation or object detection frameworks to boost accuracy. Using this method in Mask RCNN, our model achieves consistent improvement in precision on COCO Dataset with the computational overhead compared to the original feature pyramid network.

연구 동기 및 목표

• 모든 피라미드 수준에서 저수준 특징(경계, 질감)을 고수준 의미적 특징에 최적화하여 통합함으로써 인스턴스 세그멘테이션 정확도를 향상시키는 것.
• 기존 피처 피라미드 네트워크에서 요소 간 덧셈(element-wise addition) 방식의 한계를 극복하여 특징 상관관계 학습과 수준 간 종속성을 포착하지 못하는 문제를 해결하는 것.
• 모델 파라미터나 추론 비용을 증가시키지 않으면서도 마스크 품질을 향상시키는 계산 효율적인 아키텍처를 설계하는 것.
• 피처 피라미드 네트워크에서 요소 간 덧셈 대비 연결 기반 융합이 인스턴스 세그멘테이션 성능에서 뛰어나다는 것을 입증하는 것.
• 기본 프레임워크로 Mask R-CNN을 사용하여 COCO 데이터셋에서 제안된 방법의 유효성을 검증하는 것.

제안 방법

• 저수준 특징을 깊은 네트워크 레이어에서 더 높은 피라미드 수준으로 전달하는 새로운 바텀업 경로를 도입하며, 요소 간 덧셈 대신 연결을 사용한다.
• 다양한 피라미드 수준의 특징을 연결하여 다중 수준 특징맵 간 상관관계를 학습하는 새로운 인셉션 유사 모듈을 활용한다.
• 특징을 개선하고 앨리어싱을 줄이기 위해 연결된 특징맵에 3x3 후처리 컨볼루션 레이어를 적용하며, 특히 소형 객체 탐지에 유리하다.
• 안정성과 효율성을 확보하기 위해 기존의 톱다운 경로를 유지하면서 바텀업 경로의 라테럴 연결을 연결으로 대체한다.
• CFPN 모듈을 Mask R-CNN에 적용하여 표준 FPN 대신 이중 경로 특징 융합 메커니즘(톱다운 및 바텀업 연결)을 도입한다.
• ResNet-50 백본, 배치 정규화, ImageNet에서의 전이 학습을 사용하여 COCO에서 표준 최적화 프로토콜로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 피처 피라미드에서 다중 수준 특징을 연결함으로써 요소 간 덧셈 대비 인스턴스 세그멘테이션 성능 향상이 가능한가?
• RQ2 모든 피라미드 수준에서 저수준 특징을 통합하면 특히 소형 객체의 마스크 품질 향상에 기여하는가?
• RQ3 연결 기반 바텀업 특징 융합 경로가 기존 톱다운 또는 하이브리드 접근 방식보다 최소한의 계산 비용으로 더 높은 성능을 달성할 수 있는가?
• RQ4 CFPN 아키텍처가 COCO 데이터셋에서 Mask R-CNN 및 PANet 대비 AP, AP50, AP75 측정치에서 어떻게 비교되는가?
• RQ5 후처리 컨볼루션 레이어 추가가 모델 복잡도를 증가시키지 않으면서도 소형 객체 탐지 성능을 유의미하게 향상시키는가?

주요 결과

• 제안된 CFPN 모델은 COCO에서 마스크 AP 34.8을 달성하였으며, 기준 모델인 Mask R-CNN(33.9)보다 0.9 높고, 바텀업 경로 개선 버전인 Mask R-CNN(BPA)보다도 0.4 높다.
• 모델은 Mask R-CNN 대비 바운딩 박스 AP를 0.5 향상시키며, BPA 개선 버전 대비 0.3 향상되어 일관된 성능 향상을 보였다.
• 모델 1은 AP_L(대형 객체) 지표에서 최고 성능를 기록하여, 더 나은 경계 및 질감 활용 덕분에 더 큰 인스턴스의 정확도 향상이 이루어졌음을 시사한다.
• 후처리 컨볼루션 레이어를 제거한 모델 1*(Model 1*)는 오직 9.6×10⁹ MAC 연산만으로도 34.6의 마스크 AP를 기록하여, 추가 정제 레이어 없이도 CFPN의 核심 메커니즘이 성능 향상을 이끌 수 있음을 입증한다.
• 일반적으로 계산 비용이 더 높은 연결 방식을 사용했음에도 불구하고, 전체 MAC 수는 56.7×10⁹(M1)로 기존 FPN(52.2×10⁹)과 거의 유사하여 계산 효율성을 입증한다.
• 시각적 비교 결과, CFPN가 생성한 마스크는 저수준 특징을 최적화하여 융합함으로써 소형 및 복잡한 객체의 경계에 더 정확하게 일치함을 보였다.