[논문 리뷰] Scene Graph Reasoning for Visual Question Answering

Marcel Hildebrandt, Hang Li외 3명|arXiv (Cornell University)|2020. 07. 02.

Multimodal Machine Learning Applications참고 문헌 23인용 수 11

한 줄 요약

이 논문은 이미지 내 객체, 속성 및 그들의 관계를 구조화된 표현으로 나타내는 색상 그래프를 기반으로 하는 강화학습 기반의 시각질문응답(VQA) 방법을 제안한다. 이 방법은 색상 그래프를 순차적이고 맥락 기반으로 탐색하여 답변과 관련된 경로를 찾는 에이전트를 훈련시켜, 수동으로 코딩된 색상 그래프를 사용할 때 GQA 데이터셋에서 인간 수준의 성능을 달성하며, 강력한 복합적 추론 능력을 보여준다.

ABSTRACT

Visual question answering is concerned with answering free-form questions about an image. Since it requires a deep linguistic understanding of the question and the ability to associate it with various objects that are present in the image, it is an ambitious task and requires techniques from both computer vision and natural language processing. We propose a novel method that approaches the task by performing context-driven, sequential reasoning based on the objects and their semantic and spatial relationships present in the scene. As a first step, we derive a scene graph which describes the objects in the image, as well as their attributes and their mutual relationships. A reinforcement agent then learns to autonomously navigate over the extracted scene graph to generate paths, which are then the basis for deriving answers. We conduct a first experimental study on the challenging GQA dataset with manually curated scene graphs, where our method almost reaches the level of human performance.

연구 동기 및 목표

• 기존의 명시적인 복합적 추론 능력을 갖추지 못한 VQA 모델의 한계를 구조화된 색상 그래프를 활용하여 해결하고자 한다.
• 색상 그래프를 순차적으로 탐색함으로써 시각질문응답에서 해석 가능한 경로 기반 추론을 가능하게 하고자 한다.
• 객체 검출 및 색상 그래프 생성에서 발생하는 노이즈를 제거하기 위해 수동으로 코딩된 색상 그래프를 사용하여 추론 성능을 독립적으로 평가하고자 한다.
• 강화학습을 색상 그래프에 적용할 경우, GQA와 같은 복잡하고 편향이 최소화된 VQA 벤치마크에서 인간 수준의 정확도를 달성할 수 있음을 입증하고자 한다.

제안 방법

• 이 방법은 이미지 데이터로부터 유도된 방향성 다중그래프(색상 그래프)를 구성하며, 노드는 객체 또는 속성을, 간선은 의미적 또는 공간적 관계를 나타낸다.
• 모든 다른 노드에 연결되는 허브 노드를 추가하여, 에이전트가 그래프의 어느 지점에서라도 추론을 시작할 수 있도록 한다.
• 에이전트는 색상 그래프에서 정책 기반 무작위 보행을 수행하며, 현재 상태(엔터티 및 질문)에 기반하여 이동 경로를 선택한다. 행동은 현재 노드에서 나가는 간선으로 정의된다.
• 에이전트의 정책은 REINFORCE 알고리즘을 사용하여 최적화되며, 최종 노드가 정답에 해당하면 보상 값 1을 얻는다.
• 상태 공간은 색상 그래프의 엔터티와 질문의 카티esian 곱으로 정의되며, 에이전트의 목표는 추론 경로를 통해 정답 노드에 도달하는 것이다.
• 관계 추론의 완전성을 확보하기 위해 역관계(예: A가_part B이면, B는_part_of A임)를 명시적으로 모델링한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 신경망과 비교할 때, 색상 그래프에서의 강화학습은 해석 가능하고 복합적인 추론 능력을 향상시킬 수 있는가?
• RQ2 색상 그래프가 수동으로 코딩되어 있고 검출 오류가 없는 조건에서, 모델이 추론 중심의 VQA 벤치마크에서 인간 수준의 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ3 구조화된 색상 그래프를 기반으로 한 순차적이고 다단계 추론은 속성, 공간적 관계 및 논리적 추론을 포함한 복잡한 시각 질문에 얼마나 효과적으로 작용하는가?
• RQ4 에이전트가 생성한 추론 경로를 실패 분석 및 모델 투명성 향상에 활용할 수 있는가?
• RQ5 자동 생성된 색상 그래프에 비해 수동으로 코딩된 색상 그래프에 적용했을 때 이 방법의 성능는 어떻게 변화하는가?

주요 결과

• 수동으로 코딩된 색상 그래프를 사용할 때, 제안된 방법은 개방형 질문에서 90.41%의 정확도, 이진 질문에서 90.86%의 정확도, 총합 93.13%의 정확도를 GQA 데이터셋에서 달성하였다.
• 주요 평가 지표에서 인간 수준의 성능를 달성하였으며, 일관성 93.68%, 타당성 91.92%, 타당성 90.63%를 기록하였다.
• 색상 그래프에 정답이 포함된 질문 서브셋에서, 최신 기술 기반의 방법으로 생성된 색상 그래프를 사용했을 때 53.24%의 정확도를 기록하였으며, 이는 동일한 서브셋에서 TRRNet(50.22%)를 초월한 성능이다.
• 모델의 추론 경로는 투명하고 해석 가능하여, 블랙박스 신경망에 비해 실패 분석 및 디버깅이 더 용이하다.
• 결과는 성능 향상의 주요 장애물이 추론 모듈이 아니라 현재의 색상 그래프 생성 품질에 있음을 시사하며, 이는 향후 전면적 도입을 제한하고 있다.