[논문 리뷰] RepGN:Object Detection with Relational Proposal Graph Network

Xingjian Du, Xuan Shi외 1명|arXiv (Cornell University)|2019. 04. 18.

Advanced Neural Network Applications참고 문헌 36인용 수 10

한 줄 요약

이 논문은 객체 검출 성능을 햖스키기 위해 그래프 컬러리티브 네트워크를 사용하여 객체 제안 간의 공간적 및 의미적 관계를 모델링하는 RepGN을 제안한다. 계층적 전역 맥락 추출을 위한 그래프 컷 기반 풀링 레이어를 통합함으로써 RepGN은 COCO에서 추론 시간 오버헤드를 최소화하면서 mAP를 최대 0.8% 향상시킨다.

ABSTRACT

Region based object detectors achieve the state-of-the-art performance, but few consider to model the relation of proposals. In this paper, we explore the idea of modeling the relationships among the proposals for object detection from the graph learning perspective. Specifically, we present relational proposal graph network (RepGN) which is defined on object proposals and the semantic and spatial relation modeled as the edge. By integrating our RepGN module into object detectors, the relation and context constraints will be introduced to the feature extraction of regions and bounding boxes regression and classification. Besides, we propose a novel graph-cut based pooling layer for hierarchical coarsening of the graph, which empowers the RepGN module to exploit the inter-regional correlation and scene description in a hierarchical manner. We perform extensive experiments on COCO object detection dataset and show promising results.

연구 동기 및 목표

• 기존 객체 검출기가 상호 간의 관계를 고려하지 않고 제안을 개별적으로 처리하는 한계를 해결하기 위해.
• 그래프 기반 학습을 통해 객체 제안 간의 공간적 및 의미적 관계를 모델링하여 검출 정확도를 향상시키기 위해.
• 추론 속도를 저하시키지 않으면서 새로운 계층적 그래프 군집화 메커니즘을 통해 효율적으로 전역 맥락 정보를 캡처하기 위해.
• 표준 검출기인 Faster R-CNN 및 Cascade R-CNN에 최소한의 아키텍처 변경과 계산 오버헤드로 관계 모델링을 통합하기 위해.

제안 방법

• 객체 제안을 노드로 표현하고, 교차율(Intersection over Union, IoU)을 통해 공간적 및 의미적 관계를 표현하는 간선을 정의한다.
• 기본 모델의 출력 차원과 일치시키기 위해, 다중 헤드 그래프 주의 네트워크(GAT)를 두 층 사용하여 제안 간의 관계 특징을 집계한다.
• 계층적 그래프 군집화를 가능하게 하기 위해 그래프 컷 기반 풀링 레이어(GCPool)를 도입하여 효율적인 전역 맥락 추출을 실현한다.
• RPN 뒤나 bbox_head 내부에 RepGN 모듈을 삽입함으로써 분류 및 회귀 헤드 양쪽에서 관계 기반 특징을 향상시킬 수 있도록 한다.
• 기존 특징을 유지하면서 관계 표현을 융합하기 위해 잔차 연결 구조를 적용한다.
• Ablation 및 비교를 위해 ResNet-50 및 ResNet-101 백본을 사용하여 Faster R-CNN 및 Cascade R-CNN에 RepGN 모듈를 적용한다.

실험 결과

연구 질문

• RQ1 그래프 구조를 통해 제안 간 상호 관계를 모델링하면 객체 검출 성능 향상에 기여하는가?
• RQ2 제안된 그래프 컷 기반 풀링 레이어가 객체 검출을 위한 전역 맥락 정보를 효과적으로 캡처하는가?
• RQ3 RepGN을 통한 관계 모델링 통합이 다양한 백본 네트워크와 검출기 아키텍처에서 일관된 mAP 향상을 이끌어내는가?
• RQ4 표준 검출기 대비 RepGN을 통한 관계 모델링 추가 시 계산 비용은 얼마나 되는가?
• RQ5 공간적, 의미적, 전역 맥락 특징이 각각 최종 검출 정확도에 기여하는 정도는 어떠한가?

주요 결과

• GAT 레이어를 병렬로 추가했을 때, ResNet-50 기반 Faster R-CNN에서 mAP가 0.364에서 0.366으로 0.2% 향상되었고, ResNet-101 기반에서는 0.386에서 0.387로 0.1% 향상되었다.
• RepGN(a)+RepGN(b)+GCPool 구성이 Cascade R-CNN에 적용되었을 때 ResNet-101 기반으로 mAP가 0.420에서 0.422로 0.8% 향상되었다.
• 그래프 컷 풀링 레이어(GCPool)가 가장 높은 기여도를 보이며, 계층적 전역 맥락 모델링의 효과성을 입증한다.
• 학습 및 추론 시간은 거의 변화가 없었으며, 추론 속도는 ResNet-50 기반에서 RepGN 적용 시 10.2 samples/sec, 미적용 시 10.4 samples/sec로 매우 낮은 계산 오버헤드를 보였다.
• 다양한 백본 모델과 검출기 아키텍처에서 일관된 성능 향상을 보이며, 강력한 일반화 능력을 입증한다.
• Ablation 연구 결과, 국소적(공간적 및 의미적) 맥락과 전역 맥락(GCPool를 통한)이 모두 성능 향상에 필수적이며, 특히 GCPool가 가장 큰 영향을 미친다.