[논문 리뷰] Explicit Shape Encoding for Real-Time Instance Segmentation

Wenqiang Xu, Haiyang Wang외 2명|arXiv (Cornell University)|2019. 08. 12.

Advanced Neural Network Applications참고 문헌 37인용 수 11

한 줄 요약

이 논문은 실시간 인스턴스 세그멘테이션 프레임워크인 ESE-Seg를 제안한다. 이는 내부 중심 반경(IR) 서명을 통한 명시적 형태 인코딩과 체비셰프 다항식 피팅을 활용하여 객체 형태를 압축된 벡터로 회귀한다. 간단한 텐서 연산을 통해 이러한 벡터를 디코딩함으로써 ESE-Seg는 객체 검출 수준의 근사 속도를 달성한다—마스크 R-CNN보다 7배 빠르며, Pascal VOC 2012에서 mAP@0.5 성능을 뛰어넘는다.

ABSTRACT

In this paper, we propose a novel top-down instance segmentation framework based on explicit shape encoding, named extbf{ESE-Seg}. It largely reduces the computational consumption of the instance segmentation by explicitly decoding the multiple object shapes with tensor operations, thus performs the instance segmentation at almost the same speed as the object detection. ESE-Seg is based on a novel shape signature Inner-center Radius (IR), Chebyshev polynomial fitting and the strong modern object detectors. ESE-Seg with YOLOv3 outperforms the Mask R-CNN on Pascal VOC 2012 at mAP$^r$@0.5 while 7 times faster.

연구 동기 및 목표

• 일반적으로 비용이 많이 드는 인스턴스 마스크 헤드 추론이 필요한 인스턴스 세그멘테이션의 높은 계산 비용을 해결한다.
• 비용이 많이 드는 마스크 헤드 네트워크를 효율적인 형태 디코딩으로 대체하여 인스턴스 세그멘테이션의 추론 시간을 객체 검출 수준으로 줄인다.
• 압축형이며 노이즈에 강건하고, 간단한 연산을 통한 빠르고 미분 가능한 디코딩에 적합한 형태 표현 방식을 개발한다.
• 현대적인 객체 검출기와 함께 엔드 투 엔드 학습이 가능하게 하면서도 높은 정확도와 실시간 추론 속도를 유지한다.
• YOLOv3, 패스트 R-CNN, 리타이나넷, YOLOv3-tiny를 포함한 다양한 백본 검출기 간의 일반화 능력을 입증한다.

제안 방법

• 내부 중심 반경(IR) 형태 서명 도입: 객체 경계점들을 내부 중심점 기준의 극좌표계로 매핑하는 윤곽 기반 표현 방식.
• IR 함수 f(θ)를 각도 θ에 대한 반경 함수로 표현함으로써 매개변수 형태 모델링을 가능하게 한다.
• f(θ)를 압축하기 위해 체비셰프 다항식 피팅을 적용하여 작은 계수 벡터(예: 20 또는 40)로 구성된 명시적 형태 코드를 형성한다.
• 오직 텐서 연산(곱셈 및 덧셈)을 사용하여 형태 벡터를 디코딩함으로써, 한 번의 통과로 모든 인스턴스 마스크를 배치 및 병렬로 재구성할 수 있다.
• IoU 및 형태 재구성 최적화를 위한 손실 함수를 사용해, 상향식 검출기(예: YOLOv3)를 학습시켜 바운딩 박스와 형태 계수를 동시에 회귀한다.
• 형태 디코딩을 딥 네트워크에서 분리함으로써, 별도의 디코더 네트워크나 각 인스턴스당 다중 전방향 프로세스가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 매개변수 함수 피팅을 통한 명시적 형태 인코딩이 정확도를 희생시키지 않고 인스턴스 세그멘테이션의 계산 비용을 줄일 수 있는가?
• RQ2 기존의 형태 표현 방식(예: 정점 좌표, 마스크 기반 오토인코더)과 비교할 때 IR 서명은 압축성, 강건성, 재구성 품질 측면에서 어떻게 성능을 내는가?
• RQ3 체비셰프 다항식 피팅이 형태 함수를 효과적으로 압축하면서도 정확한 마스크 예측을 위한 분류 정보를 유지할 수 있는가?
• RQ4 제안된 방법이 YOLOv3-tiny와 같은 경량 검출기 포함 다양한 객체 검출기에서 실시간 추론을 얼마나 잘 달성할 수 있는가?
• RQ5 특히 대규모 환경에서, 암시적 네트워크 기반 디코딩보다 명시적 디코딩 메커니즘이 더 빠른 추론을 가능하게 하는가?

주요 결과

• YOLOv3 기반 ESE-Seg는 Pascal VOC 2012에서 69.3 mAP@0.5를 기록하여, 마스크 R-CNN(68.5 mAP@0.5)을 능가하며, 동일한 ResNet-50 백본을 사용함에도 불구하고 7배 빠른 속도를 기록한다.
• Pascal VOC 2012에서 YOLOv3-tiny 기반 ESE-Seg는 GTX 1080Ti에서 130 FPS를 기록하며 53.2% mAP@0.5를 유지하여 실시간 추론 능력을 입증한다.
• IR 서명에 대한 체비셰프 다항식 피팅은 뛰어난 성능을 보였다: IR-Cheby(20)는 62.6 mAP@0.5를 기록하여 XY-Cheby(20+20)의 53.1 mAP@0.5를 뛰어넘는다.
• 이 방법은 다양한 검출기 간에 일반화 가능하다: 패스트 R-CNN, 리타이나넷, YOLOv3-tiny 기반 ESE-Seg는 모두 53.2%에서 65.9% 사이의 안정적인 mAP@0.5 점수를 기록한다.
• 텐서 연산을 통한 명시적 디코딩은 모든 인스턴스 마스크를 한 번의 프로세스로 재구성할 수 있게 하여, 암시적 방법의 순차적이고 인스턴스 기반 디코딩 병목 현상을 피한다.
• 높은 IoU 임계치(예: 0.7)에서 성능 저하가 발생함을 확인하여, 고정밀도 요구 조건에서 형태 벡터 재구성 정확도의 한계를 보여준다.