[논문 리뷰] An Interpretable Model for Scene Graph Generation

Ji Zhang, Kevin J. Shih외 3명|arXiv (Cornell University)|2018. 11. 21.

Multimodal Machine Learning Applications참고 문헌 23인용 수 8

한 줄 요약

이 논문은 후기 융합을 통해 시각적, 공간적, 의미적 특징을 별도의 세 가지 브랜치로 명시적으로 모델링하는 새로운 해석 가능한 시나리오 그래프 생성 모델을 제안한다. 이는 각 특징의 기여도를 명확히 분석할 수 있도록 한다. 모델는 최고 성능을 달성하여 OpenImages 시각적 관계 탐지 도전 대회에서 2위를 20% 상대적 향상으로 앞서 1등을 차지했다.

ABSTRACT

We propose an efficient and interpretable scene graph generator. We consider three types of features: visual, spatial and semantic, and we use a late fusion strategy such that each feature's contribution can be explicitly investigated. We study the key factors about these features that have the most impact on the performance, and also visualize the learned visual features for relationships and investigate the efficacy of our model. We won the champion of the OpenImages Visual Relationship Detection Challenge on Kaggle, where we outperform the 2nd place by 5\% (20\% relatively). We believe an accurate scene graph generator is a fundamental stepping stone for higher-level vision-language tasks such as image captioning and visual QA, since it provides a semantic, structured comprehension of an image that is beyond pixels and objects.

연구 동기 및 목표

• 시각적, 공간적, 의미적 특징의 명시적이고 해석 가능한 기여를 제공하는 시나리오 그래프 생성기를 개발하기 위해.
• 특징 학습을 분리하고 각 모odal의 영향을 분석할 수 있도록 함으로써 시각적 관계 탐지 성능을 향상시키기 위해.
• OpenImages, Visual Genome, VRD를 포함한 벤치마크 데이터셋에서 뛰어난 성능을 입증하기 위해.
• 관계 예측에서 학습된 표현의 더 나은 해석 가능성과 분석을 가능하게 하기 위해.
• 이미지 설명 생성 및 시각적 질의 응답과 같은 고차원 비전-언어 작업의 기초 구성 요소로 기능하기 위해.

제안 방법

• 모델는 이중 단계 파이프라인을 사용한다: 먼저, 표준 객체 검출기가 객체 레이블, 바운딩 박스, 시각적 특징을 추출한다.
• 세 가지 별도의 브랜치가 시각적, 공간적, 의미적 특징을 독립적으로 처리하고, confidence 점수를 합산하고 소프트맥스 정규화를 통해 후기 융합한다.
• 의미 모듈은 학습 데이터에서 학습된 빈도 기반 기저선 $ p(P|S,O) $ 를 사용하며, 그 위에 잔차 학습을 적용한다.
• 공간 모듈은 상대적 객체 위치를 박스 델타와 정규화된 좌표를 사용해 공간적 레이아웃을 인코딩한다.
• 시각 모듈은 관계별로 특화된 표현을 학습하기 위해 전용 백본을 통해 객체 특징을 처리한다.
• 최종 예측은 브랜치 점수를 합산하고 소프트맥스를 적용하여 술어에 대한 확률 분포를 생성한다.

실험 결과

연구 질문

• RQ1 시각적, 공간적, 의미적 특징이 시나리오 그래프 생성 성능에 각각 어떻게 기여하는가?
• RQ2 명시적이고 별도의 브랜치를 가진 후기 융합 전략이 시각적 관계 탐지의 해석 가능성과 성능 향상에 기여할 수 있는가?
• RQ3 주어진 주어-목적어 쌍의 빈도 기반 사전 지식이 관계 예측 정확도 향상에 어느 정도 기여하는가?
• RQ4 공간적 특징과 시각적 특징이 관계별 패턴을 포착하는 데 얼마나 유사한 능력을 갖는가?
• RQ5 모듈러하고 해석 가능한 설계가 시나리오 그래프 생성에서 종단간 융합 방법보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• 모델는 OpenImages 시각적 관계 탐지 도전 대회에서 사설 랭킹에서 2위를 20% 상대적 향상으로 앞서 1등을 차지했다.
• OpenImages 데이터셋에서 모델은 시나리오 그래프 탐지에 대해 100개의 예측에서 28.59%의 리콜을 기록했으며, 이는 이전 방법들보다 뚜렷이 뛰어난 성능이었다.
• Visual Genome 데이터셋에서 모델은 시나리오 그래프 탐지 설정에서 50개 예측에서 26.12%의 리콜, 100개 예측에서 31.28%의 리콜을 기록했으며, 기존 최고 성능 방법을 초월했다.
• VRD 데이터셋에서 모델은 COCO 사전학습을 사용해 33.29%의 mAP_rel과 41.25%의 mAP_phr를 기록했으며, 이는 이전 최고 성능 모델을 능가했다.
• 학습된 특징의 시각화 결과, 술어 전용 백본이 핸드가 마이크를 쥐고 있는 등 특징적인 영역을 효과적으로 포착하는 것으로 나타났다.
• 단절 실험 결과, 모든 세 브랜치와 공간 특징을 포함한 전체 모델가 가장 뛰어난 성능를 보였으며, 각 구성 요소의 기여도가 확인되었다.