[논문 리뷰] Structure Inference Net: Object Detection Using Scene-Level Context and Instance-Level Relationships

Yong Liu, Ruiping Wang외 2명|arXiv (Cornell University)|2018. 06. 30.

Advanced Neural Network Applications참고 문헌 35인용 수 24

한 줄 요약

이 논문은 그래프 기반의 구조 추론 기반 메커니즘을 통해 시점 수준의 맥락과 개체 수준의 객체 관계를 모두 모델링함으로써 검출 정확도를 향상시키는 새로운 객체 검출 프레임워크인 구조 추론 네트워크(SIN)를 제안한다. 시점 맥락과 관련된 이웃 개체로부터의 메시지를 사용하여 개체 상태를 갱신하는 게이트드 순환 단위(GRUs)를 통합함으로써 SIN은 PASCAL VOC 및 MS COCO에서 최신 기술 수준의 성능을 달성하며, 평균 풀링 앙상블를 사용할 경우 VOC 2007에서 70.5%의 mAP를 기록하고, 재현율을 유지하면서 정밀도를 향상시킨다.

ABSTRACT

Context is important for accurate visual recognition. In this work we propose an object detection algorithm that not only considers object visual appearance, but also makes use of two kinds of context including scene contextual information and object relationships within a single image. Therefore, object detection is regarded as both a cognition problem and a reasoning problem when leveraging these structured information. Specifically, this paper formulates object detection as a problem of graph structure inference, where given an image the objects are treated as nodes in a graph and relationships between the objects are modeled as edges in such graph. To this end, we present a so-called Structure Inference Network (SIN), a detector that incorporates into a typical detection framework (e.g. Faster R-CNN) with a graphical model which aims to infer object state. Comprehensive experiments on PASCAL VOC and MS COCO datasets indicate that scene context and object relationships truly improve the performance of object detection with more desirable and reasonable outputs.

연구 동기 및 목표

• 지난 번의 검출기들이 국소적 외관에만 의존하는 한계를 해결하기 위해 고차원 맥락 정보를 통합하는 것.
• 시점 수준의 맥락과 개체 수준의 객체 관계를 모두 모델링하여 검출 정확도와 견고성을 향상시키는 것.
• 그래프 기반 메시지 전달을 사용하여 객체 검출을 구조적 추론 문제로 재정의하는 것.
• 기존 검출기들(예: Faster R-CNN)을 맥락적 추론을 통해 향상시킬 수 있는 유연하고 프레임워크에 종속되지 않는 모듈을 개발하는 것.
• 시점과 관계 맥락을 동시에 활용할 경우 더 정확하고 신뢰할 수 있는 검출 출력이 도출됨을 검증하는 것.

제안 방법

• 해당 방법은 객체를 노드로, 관계를 간선으로 하는 그래프 구조 추론 문제로 객체 검출을 공식화한다.
• 게이트드 순환 단위(GRUs)를 메모리 셀로 사용하여 시점 맥락과 이웃 개체로부터 온 메시지를 통해 개체 상태를 인코딩하고 갱신하는 구조 추론 네트워크(SIN)를 도입한다.
• 각 GRU의 입력에는 초기 개체 특징, 시점 수준의 맥락 임베딩, 그리고 다른 개체들로부터 온 관계 메시지가 포함되어 있으며, 이는 다중 모odal 메시지 전달을 가능하게 한다.
• 두 개의 별도 모듈을 사용한다: 시점 맥락을 위한 모듈(Scenes 모듈)과 객체 관계를 위한 모듈(Edge 모듈)이며, 각각 GRU 기반 메시지 전달을 통해 개체 상태를 갱신한다.
• 최종 개체 상태는 두 모듈의 평균 풀링을 통한 앙상블을 통해 확보되며, 이는 최고의 성능를 나타낸다.
• 모델은 기존의 이단계 검출기들(예: Faster R-CNN)과 호환되며, 최종 분류기 헤드를 SIN 모듈로 교체함으로써 플러그 앤 플레이 방식으로 적용 가능하다.

실험 결과

연구 질문

• RQ1 시점 수준의 맥락과 개체 수준의 관계를 동시에 모델링하면 객체 검출 성능이 향상되는가?
• RQ2 구조적 맥락 정보를 통합할 경우 검출 정확도와 국소화 정밀도에 어떤 영향을 미치는가?
• RQ3 딥 러닝 기반 검출 프레임워크에서 시점 맥락과 객체 관계 신호를 최적의 방식으로 융합하는 방법은 무엇인가?
• RQ4 GRUs를 사용한 그래프 기반 메시지 전달이 더 일관되고 의미적으로 유의미한 객체 예측을 이끌어내는가?
• RQ5 다양한 앙상블 전략과 메시지 전달 시간 단계는 최종 검출 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 SIN 모델은 메시지 전달에 두 번의 시간 단계와 평균 풀링 앙상블를 사용할 경우 PASCAL VOC 2007 테스트 세트에서 70.5%의 mAP를 달성한다.
• 기본 모델인 Faster R-CNN 대비 정밀도는 향상되었지만 재현율은 거의 동일하게 유지되어 더 정확하고 자신감 있는 예측을 함을 시사한다.
• Edge 모듈(객체 관계를 모델링)은 특히 자주 함께 나타나는 객체들(예: 랩탑 근처의 마우스)에 대해 국소화 정확도를 크게 향상시킨다.
• Scene 모듈은 강하게 시점 맥락과 연관된 카테고리(예: 강에서의 보트)에 대해 검출 성능을 향상시키며, 잘못된 분류 오류를 감소시킨다.
• 메시지 전달에 두 번을 초과하는 시간 단계를 사용할 경우 그래프 내 노이즈 누적이 발생하여 성능 저하가 발생한다.
• 시각화 결과는 모델이 사람-테니스 라켓, 사람-프리스비와 같은 의미 있는 객체 관계를 높은 관계 주의도를 통해 연결함으로써 의미 있는 객체 관계를 학습하고 있음을 확인한다.