[논문 리뷰] OD-GCN object detection by knowledge graph with GCN.

Zheng Liu, Zidong Jiang외 1명|arXiv (Cornell University)|2019. 08. 06.

Advanced Neural Network Applications참고 문헌 5인용 수 4

한 줄 요약

이 논문은 객체 간 관계를 모델링함으로써 검출 정확도를 향상시키기 위해 지식 그래프를 활용하는 객체 검출 프레임워크인 OD-GCN을 제안한다. 그래프 컬러션 네트워크(GCN)를 사용하여 객체 카테고리 간 관계를 모델링함으로써 COCO 데이터셋에서 다양한 모델에 대해 mAP를 1–5%p 향상시키며, 인간 검증을 통한 개선 효과를 입증한다.

ABSTRACT

Classical object detection methods only extract the objects' image features via CNN, lack of utilizing the relationship among objects in the same image. In this article, we introduce the graph convolutional networks (GCN) into the object detection field and propose a new framework called OD-GCN (object detection with graph convolutional network). It utilizes the category relationship to improve the detection precision. We set up a knowledge graph to reflect the co-exist relationships among objects. GCN plays the role of post-processing to adjust the output of base object detection models, so it is a flexible framework that any pre-trained object detection models can be used as the base model. In experiments, we try several popular base detection models. OD-GCN always improve mAP by 1-5pp on COCO dataset. In addition, visualized analysis reveals the benchmark improvement is quite reasonable in human's opinion.

연구 동기 및 목표

• 기존 객체 검출기들이 이미지 내 객체 간 상호관계를 忽시하는 한계를 해결하기 위해.
• 객체 간 의미적 및 동시 발생 관계를 통합함으로써 검출 정확도를 향상시키기 위해.
• 모든 사전 훈련된 객체 검출 모델과 호환 가능한 유연한 프레임워크를 설계하기 위해.
• 그래프 기반 추론이 인간이 이해할 수 있는 방식으로 검출 성능 향상을 이끌어내는지 검증하기 위해.

제안 방법

• 기존 지식을 활용하여 객체 클래스 간 동시 발생 및 카테고리 간 관계를 코딩한 지식 그래프를 구축한다.
• 지식 그래프 내 노드 간의 관계 정보를 전파함으로써 객체 검출 점수를 개선하기 위해 그래프 컬러션 네트워크(GCN)를 사용한다.
• 기본 검출기의 출력 후 적용되는 후처리 모듈로 GCN을 통합함으로써 모델에 종속되지 않는 유연성을 유지한다.
• GCN 모듈을 엔드 투 엔드 또는 피넷팅된 방식으로 훈련하여 맥락적 관계에 기반한 검출 신뢰도 점수를 조정한다.
• 사전 훈련된 모델(예: Faster R-CNN, RetinaNet)의 객체 검출 특징을 GCN 기반 개선 단계의 입력으로 활용한다.
• 비전 어텐션과 특징 전파를 적용하여 백본 네트워크를 수정하지 않고도 맥락 인식 예측을 향상시킨다.

실험 결과

연구 질문

• RQ1 지식 그래프를 통해 객체 간 상호관계를 모델링하면 객체 검출 성능이 향상되는가?
• RQ2 GCN 기반 후처리가 다양한 기본 검출기에서 검출 점수를 얼마나 효과적으로 개선하는가?
• RQ3 OD-GCN의 성능 향상이 인간이 인식하는 검출 품질 기준과 일치하는가?
• RQ4 이 프레임워크는 다양한 객체 검출 아키텍처에 얼마나 일반화되는가?

주요 결과

• OD-GCN은 COCO 데이터셋에서 여러 기본 객체 검출 모델에 대해 mAP를 1–5%p 향상시킨다.
• 성능 향상은 다양한 백본 네트워크에서 일관되게 나타나 프레임워크의 일반화 능력과 유연성을 입증한다.
• 시각화된 결과는 모델이 인간이 인지하는 타당한 객체 동시 발생 패턴과 일치하는 방식으로 검출 오류를 수정함을 보여준다.
• 지식 그래프는 의미적 및 맥락적 관계를 효과적으로 코딩하여 GCN이 관계 기반 맥락을 활용한 예측 개선을 가능하게 한다.
• GCN의 후처리 성격 덕분에 사전 훈련된 모든 검출기와 통합 가능하며 전체 모델을 재학습할 필요가 없다.