[논문 리뷰] Scene Graph Generation from Objects, Phrases and Region Captions

Yikang Li, Wanli Ouyang외 3명|arXiv (Cornell University)|2017. 07. 31.

Multimodal Machine Learning Applications참고 문헌 44인용 수 29

한 줄 요약

이 논문은 다중 수준의 장면 기술 네트워크(MSDN)를 제안하며, 공간-정의 그래프를 통해 세 가지 의미 수준 간에 영역을 동적으로 정렬하고 메시지 전달을 통해 특징을 정련함으로써 객체 검출, 장면 그래프 생성, 영역 캡션 생성을 종합적으로 수행하는 엔드 투 엔드 딥 러닝 프레임워크이다. 이 방법은 Visual Genome 데이터셋에서 장면 그래프 생성 작업에서 기존 모델보다 평균 평균 정밀도(mAP) 기준으로 3.6퍼센트 포인트 이상 향상되어 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

Object detection, scene graph generation and region captioning, which are three scene understanding tasks at different semantic levels, are tied together: scene graphs are generated on top of objects detected in an image with their pairwise relationship predicted, while region captioning gives a language description of the objects, their attributes, relations, and other context information. In this work, to leverage the mutual connections across semantic levels, we propose a novel neural network model, termed as Multi-level Scene Description Network (denoted as MSDN), to solve the three vision tasks jointly in an end-to-end manner. Objects, phrases, and caption regions are first aligned with a dynamic graph based on their spatial and semantic connections. Then a feature refining structure is used to pass messages across the three levels of semantic tasks through the graph. We benchmark the learned model on three tasks, and show the joint learning across three tasks with our proposed method can bring mutual improvements over previous models. Particularly, on the scene graph generation task, our proposed method outperforms the state-of-art method with more than 3% margin.

연구 동기 및 목표

• 객체 검출, 장면 그래프 생성, 영역 캡션 생성을 종합적으로 모델링하여 시각적 장면 이해에서 약한 태스크 간 정렬 문제를 해결하고자 한다.
• 객체, 어휘 표현, 캡션 간 상호 의존성과 상보적 정보를 활용하여 향상된 특징 학습을 도모하고자 한다.
• 공간적 유사성과 의미적 유사성에 기반하여 다양한 의미 수준 간의 영역을 동적으로 정렬하는 동적 그래프 구축 메커니즘을 설계하고자 한다.
• 구축된 그래프를 통해 메시지 전달 메커니즘을 개발하여 태스크 간 특징을 정련하고 공동 최적화를 실현하고자 한다.
• 엔드 투 엔드 공동 학습을 통해 세 태스크 간 상호 성능 향상을 입증하고자 한다.

제안 방법

• 각 이미지에 대해 객체, 어휘 표현, 캡션 영역 간의 공간적 겹침과 의미적 유사성에 기반하여 동적 그래프를 구축한다.
• 학습된 어텐션 가중치를 사용하여 객체, 어휘 표현(객체 쌍), 캡션 영역 간의 다른 의미 수준의 영역을 연결한다.
• 특징 정련 구조가 그래프를 따라 메시지 전달을 수행하여, 다른 태스크의 관련 영역에서 온 정보를 활용해 특징을 반복적으로 정련한다.
• 객체 및 캡션 영역에 대해 공유된 컨볼루션 기반 백본과 영역 제안 네트워크(RPNs)를 사용하며, 어휘 표현 생성 모듈은 객체 영역을 쌍으로 묶는다.
• ROI 풀링을 통해 각 영역의 특징을 추출하고, 이를 완전 연결층을 거쳐 그래프를 통해 태스크 간 정련을 수행한다.
• 최종 특징은 공유된 파rameter를 사용해 객체 검출, 장면 그래프 예측, 영역 캡션 생성의 엔드 투 엔드 학습에 활용된다.

실험 결과

연구 질문

• RQ1 객체 검출, 장면 그래프 생성, 영역 캡션 생성 간의 공동 학습이 상호 성능 향상에 기여할 수 있는가?
• RQ2 다른 의미 수준의 영역 간 공간적 및 의미적 관계를 효과적으로 모델링하여 태스크 간 특징 정련을 어떻게 실현할 수 있는가?
• RQ3 동적으로 구축된 그래프를 통해 메시지 전달이 세 태스크의 특징 표현을 얼마나 향상시키는가?
• RQ4 어휘 표현과 캡션의 보완적 감독을 통합하면 소형 또는 검출이 어려운 객체의 검출 성능이 향상되는가?
• RQ5 통합된 엔드 투 엔드 프레임워크가 벤치마크 데이터셋에서 태스크 전용 또는 다단계 기반 기준 모델을 능가할 수 있는가?

주요 결과

• Visual Genome 데이터셋에서 제안된 MSDN 모델은 장면 그래프 생성 작업에서 최신 기술 수준의 방법보다 평균 평균 정밀도(mAP) 기준으로 3.63%에서 4.31%의 절대적 향상을 달성한다.
• 모델은 객체 검출 mAP를 6.72%(Faster R-CNN 기준)에서 7.43%로 향상시켜 어휘 표현과 캡션으로부터의 태스크 간 맥락 정보의 유용성을 입증한다.
• 영역 캡션 성능은 기준 모델의 4.41%에서 AP 지표 기준 5.39%로 향상되어 장면 그래프의 구조적 및 의미적 신호가 캡션 품질 향상에 기여함을 보여준다.
• 제거 실험 결과 메시지 전달이 필수적임을 확인하였으며, 동일한 아키텍처와 언어 모델을 사용하더라도 메시지 전달 기능이 없는 모델(Baseline-3-bran.)은 성능이 열등하다.
• 정성적 결과에서는 예측된 장면 그래프와 캡션 출력 간 강한 상관관계를 보이며, 실패 케이스는 일반적으로 객체 또는 관계가 잘못 분류된 데서 기인한다.
• 모델의 성능 향상 요인은 다중 수준 감독의 통합과 동적 그래프가 의미 수준 간 특징을 정렬하고 정련할 수 있는 능력에 기인한다.