[논문 리뷰] An Empirical Study on Leveraging Scene Graphs for Visual Question Answering

Cheng Zhang, Wei‐Lun Chao외 1명|arXiv (Cornell University)|2019. 07. 28.

Multimodal Machine Learning Applications참고 문헌 78인용 수 31

한 줄 요약

이 논문은 그래프 네트워크(GNs)를 사용하여 이미지 내 객체와 그 관계를 구조적으로 표현한 스냅샷 그래프(scene graphs)를 시각질문응답(VQA)에 활용하는 것을 조사한다. GNs가 스냅샷 그래프에서 구조적 추론을 수행할 수 있음을 입증하며, 더 깔끔한 아키텍처로 최신 기준 성능을 달성하고, 추론 과정에서 관련된 노드와 간선을 강조하는 해석 가능한 주의 메커니즘을 제공한다.

ABSTRACT

Visual question answering (Visual QA) has attracted significant attention these years. While a variety of algorithms have been proposed, most of them are built upon different combinations of image and language features as well as multi-modal attention and fusion. In this paper, we investigate an alternative approach inspired by conventional QA systems that operate on knowledge graphs. Specifically, we investigate the use of scene graphs derived from images for Visual QA: an image is abstractly represented by a graph with nodes corresponding to object entities and edges to object relationships. We adapt the recently proposed graph network (GN) to encode the scene graph and perform structured reasoning according to the input question. Our empirical studies demonstrate that scene graphs can already capture essential information of images and graph networks have the potential to outperform state-of-the-art Visual QA algorithms but with a much cleaner architecture. By analyzing the features generated by GNs we can further interpret the reasoning process, suggesting a promising direction towards explainable Visual QA.

연구 동기 및 목표

• 구조적 스냅샷 그래프가 종합적 신경망을 초월해 시각질문응답 성능을 향상시킬 수 있는지 탐색하기.
• VQA를 위한 스냅샷 그래프에서 구조적 추론을 수행하는 데 그래프 네트워크(GNs)의 효과성을 평가하기.
• 스냅샷 그래프의 품질과 노드/간선 특징이 VQA 성능에 미치는 영향 분석하기.
• 그래프 구성 요소에 대한 주의 메커니즘을 시각화하여 VQA에서 해석 가능한 추론 구현하기.
• 기계 생성 스냅샷 그래프(예: Visual Genome, Neural Motifs)와 인간 애너테이션 기반 그래프를 VQA 작업에서 비교하기.

제안 방법

• 저자들은 이미지를 스냅샷 그래프로 표현하며, 노드는 객체를 나타내고 간선은 그들 간의 관계를 나타낸다.
• 스냅샷 그래프를 인코딩하고 노드 및 간선을 기반으로 메시지 전파 기반 추론을 수행하기 위해 그래프 네트워크(GNs)를 사용한다.
• GN 모델은 질문을 LSTM 인코더로 처리하고, 그래프 인코딩 특징과 융합하여 답변 예측을 수행한다.
• 이미지 특징(i), 질문(q), 후보 답변(c), 스냅샷 그래프 입력(S)의 다양한 조합을 실험한다.
• 노드 및 간선 업데이트의 ℓ₂ 노름을 추적하여 주의 메커니즘을 분석함으로써 질문과 관련성이 높은 그래프 부분을 시각화한다.
• Visual Genome(VG), Neural Motifs(NM), 그래프 없음(NG) 등의 다양한 스냅샷 그래프 소스를 비교하고, 노드 이름과 속성의 영향을 평가한다.

실험 결과

연구 질문

• RQ1 표준 딥 러닝 모델과 비교해 이미지에서 유도된 스냅샷 그래프가 VQA 성능 향상에 기여하는가?
• RQ2 자동으로 생성된 스냅샷 그래프의 품질이 VQA 정확도에 어떤 영향을 미치는가?
• RQ3 그래프 네트워크가 스냅샷 그래프에서 구조적 추론을 수행하여 VQA의 해석 가능성 향상에 기여하는가?
• RQ4 어떤 유형의 질문(예: '무엇', '몇 개', '어디')이 스냅샷 그래프 추론에서 가장 큰 이점을 얻는가?
• RQ5 노드 속성이나 관계를 통합함으로써 특정 질문 유형에 대한 추론 성능 향상이 이루어지는가?

주요 결과

• Visual Genome 그래프에 노드 이름과 속성을 포함한 VG(N, A) 모델은 VQA 벤치마크에서 총 정확도 62.6%를 기록하며, 그래프 없음 기반 베이스라인(43.3%)을 초월했다.
• '무엇', '누구', '몇 개' 질문 유형에서 노드 이름을 포함한 스냅샷 그래프가 베이스라인 대비 정확도를 10~20%p 향상시켰다.
• 색상 질문 유형에서 노드 속성을 통합함으로써 가장 큰 상대적 향상이 발생했으며, 정확도가 10% 이상 향상되었다.
• 노드 이름과 속성을 포함한 VG 그래프를 사용한 모델(VG(N, A))은 '왜' 질문에서 85.3%의 정확도를 기록하여 모든 구성 중 최고 성능을 달성했다.
• 정성적 분석 결과, GN 기반 모델이 은밀하게 관련된 노드와 간선(예: '비행기', '들고 있는', '레이싱')에 주의를 기울이며, 해석 가능한 추론 경로를 드러냈다.
• Neural Motifs 그래프를 사용한 실패 사례는 노드 속성 부족으로 인한 것으로 분석되었으며, rich한 그래프 특징의 중요성을 입증했다.