[논문 리뷰] Grid R-CNN Plus: Faster and Better

Xin Lu, Buyu Li외 3명|arXiv (Cornell University)|2019. 06. 13.

Advanced Neural Network Applications참고 문헌 8인용 수 8

한 줄 요약

Grid R-CNN Plus는 격자 포인트별 대표 영역을 도입하고 그리드 브랜치의 특징맵 크기와 합성곱 레이어 수를 줄이며 학습 및 추론 전략을 최적화하여 더 빠르고 정확한 Grid R-CNN의 버전을 제안한다. COCO에서 ResNet-50-FPN을 사용할 경우 기준 모델 대비 3.0 mAP 높은 40.4 mAP를 기록하면서도 Faster R-CNN FPN과 유사한 추론 속도를 유지한다.

ABSTRACT

Grid R-CNN is a well-performed objection detection framework. It transforms the traditional box offset regression problem into a grid point estimation problem. With the guidance of the grid points, it can obtain high-quality localization results. However, the speed of Grid R-CNN is not so satisfactory. In this technical report we present Grid R-CNN Plus, a better and faster version of Grid R-CNN. We have made several updates that significantly speed up the framework and simultaneously improve the accuracy. On COCO dataset, the Res50-FPN based Grid R-CNN Plus detector achieves an mAP of 40.4%, outperforming the baseline on the same model by 3.0 points with similar inference time. Code is available at https://github.com/STVIR/Grid-R-CNN .

연구 동기 및 목표

• Grid R-CNN의 높은 계산 비용을 줄이되, 높은 정확도의 국소화 성능를 유지하거나 향상시키기.
• 모든 격자 포인트에 동일한 큰 대표 영역을 사용함으로써 발생하는 그리드 브랜치의 비효율성 제거.
• 학습 및 추론 파이프라인을 최적화하여 정확도를 희생시키지 않은 채 속도와 안정성을 향상시키기.
• 기존 Grid R-CNN보다 빠른 추론 시간을 확보하면서도 평균 평균 정확도(mAP)를 크게 향상시키기.

제안 방법

• 각 격자 포인트가 원본 히트맵에서 가장 확률이 높은 1/4 영역만을 사용해 지도 학습하는 격자 포인트별 대표 영역을 도입하여 특징맵 크기와 계산량을 감소시킴.
• 그리드 브랜치 특징맵 해상도를 14×14에서 7×7으로 내려가며 계산 비용을 줄이면서도 국소화 정확도를 유지함.
• 특징 융합 모듈 내에서 연속된 세 개의 합성곱 레이어를 단일 5×5 깊이 분리 합성곱으로 대체하여 파라미터 수와 FLOPs를 감소시킴.
• 이미지 간 샘플링 전략을 도입하여 각 이미지의 제한 없이 최대 192개의 양성 제안 영역을 두 이미지에 걸쳐 샘플링함으로써 학습 중 특징 분포의 안정성을 향상시킴.
• 추론 과정에서 두 번째 비최대 억제(NMS) 단계를 제거하고, IoU 임계치 0.3과 점수 임계치 0.03를 사용하는 하나의 NMS만을 적용하여 추론 속도를 향상시킴.
• 그리드 브랜치에서 그룹 수를 격자 포인트 수의 배수로 설정(예: 3×3 격자일 경우 36)한 그룹 배치 정규화를 사용하여 학습 안정성을 향상시킴.

실험 결과

연구 질문

• RQ1 Grid R-CNN의 계산 비용을 국소화 정확도를 떨어뜨리지 않고 크게 줄일 수 있는가?
• RQ2 격자 포인트별 대표 영역을 사용할 경우 특징 효율성과 국소화 성능에 어떤 영향을 미치는가?
• RQ3 그리드 브랜치의 해상도와 깊이를 줄일 경우 mAP와 추론 속도에 어떤 영향을 미치는가?
• RQ4 이미지 간 샘플링 전략은 불균형한 양성 샘플 분포 상황에서 학습 안정성과 검출 성능에 어떤 영향을 미치는가?
• RQ5 추론 과정에서 두 번째 NMS 단계를 제거하면 성능 저하 없이 속도를 크게 향상시킬 수 있는가?

주요 결과

• ResNet-50-FPN 기반으로 COCO minival에서 Grid R-CNN Plus는 40.4 mAP를 기록하여 동일한 백본을 사용한 원본 Grid R-CNN 대비 3.0 mAP 향상.
• TITAN Xp GPU에서 이미지당 추론 시간이 0.11초로, Faster R-CNN FPN(0.09 s)과 유사한 속도를 확보하면서도 mAP에서 크게 앞서며 성능을 뛰어넘음.
• ResNet-101-FPN 기반으로는 42.0 mAP를 기록하여 원본 Grid R-CNN 대비 0.7 mAP 향상되며, 추론 시간은 0.13초로 원본의 0.29초 대비 빨라름.
• 격자 포인트별 대표 영역 도입으로 효과적인 지도 학습 영역이 75% 감소하여 특징 계산 속도가 향상되고 국소화 정확도도 향상됨.
• 해상도 감소(7×7), 깊이 분리 합성곱, 최적화된 NMS 전략의 조합으로 기존 Grid R-CNN 대비 추론 시간이 55% 감소.
• 이미지 간 샘플링 전략은 이미지 간 양성 샘플 분포를 균형 있게 유지하여 일반화 능력과 mAP 향상에 기여함.