[논문 리뷰] Multi-Modal Graph Neural Network for Joint Reasoning on Vision and Scene Text

Difei Gao, Ke Li외 3명|arXiv (Cornell University)|2020. 03. 31.

Multimodal Machine Learning Applications참고 문헌 53인용 수 14

한 줄 요약

이 논문은 시각적, 의미적, 수치적 모달리티를 그래프 기반 아키텍처와 상호모달 메시지 전달을 통해 이미지의 장면 텍스트를 모델링하는 새로운 프레임워크인 다중모态 그래프 신경망(MM-GNN)을 제안한다. 시각적 맥락, 의미적 맥락, 수치적 관계를 주목 기반 집합기법을 통해 활용함으로써, MM-GNN은 장면 텍스트 이해에서 VQA 성능을 크게 향상시키며, TextVQA 및 VizWiz-TextVQA 벤치마크에서 최고 성능을 기록했고, 더 높은 해석 가능성도 확보하였다.

ABSTRACT

Answering questions that require reading texts in an image is challenging for current models. One key difficulty of this task is that rare, polysemous, and ambiguous words frequently appear in images, e.g., names of places, products, and sports teams. To overcome this difficulty, only resorting to pre-trained word embedding models is far from enough. A desired model should utilize the rich information in multiple modalities of the image to help understand the meaning of scene texts, e.g., the prominent text on a bottle is most likely to be the brand. Following this idea, we propose a novel VQA approach, Multi-Modal Graph Neural Network (MM-GNN). It first represents an image as a graph consisting of three sub-graphs, depicting visual, semantic, and numeric modalities respectively. Then, we introduce three aggregators which guide the message passing from one graph to another to utilize the contexts in various modalities, so as to refine the features of nodes. The updated nodes have better features for the downstream question answering module. Experimental evaluations show that our MM-GNN represents the scene texts better and obviously facilitates the performances on two VQA tasks that require reading scene texts.

연구 동기 및 목표

• 단어 임베딩만으로는 신뢰성 있게 해결할 수 없는 희귀하거나 다의어이거나 모호한 장면 텍스트를 이해하는 데 도전하는 것.
• 이미지 내 장면 텍스트에 존재하는 다중 모달리티—시각적, 의미적, 수치적—를 함께 모델링하여 VQA 성능을 향상시키는 것.
• 시각적 두드러짐, 주변 텍스트, 수치적 관계와 같은 맥락적 신호를 통해 알 수 없는 또는 모호한 단어의 의미를 추론할 수 있도록 하는 것.
• 레이아웃과 질문 맥락에 기반한 주목 기반 기법을 사용해 다중 모달리티 간에 동적으로 노드 표현을 개선하는 메시지 전달 메커니즘을 개발하는 것.

제안 방법

• MM-GNN은 세 개의 하위 그래프를 포함하는 다중모달 그래프를 구성한다: 시각적 엔티티(객체 및 텍스트), 장면 텍스트의 의미, 수치적 값과 관계.
• 노드의 초기 표현은 사전 학습된 특징을 사용하여 초기화된다: 시각적 특징은 Faster R-CNN을, 텍스트 특징은 사전 학습된 단어 임베딩을 사용한다.
• 세 가지 주목 기반 집합기법이 상호모달 메시지 전달을 수행한다: 시각-의미, 의미-의미, 의미-수치, 각각 관련 맥락 정보를 사용해 노드 특징을 개선한다.
• 집합기법은 시각적 외관, 공간적 레이아웃, 질문 맥락에 기반한 노드 간 유사도 점수를 계산하여, 물리적이고 의미적으로 관련된 객체나 텍스트에 주목할 수 있도록 한다.
• 특징 조합 과정에서 더 풍부한 정보를 유지하기 위해 연결 기반 융합 기법을 사용하여 평균화에 의한 성능 저하를 방지한다.
• 개선된 노드 특징은 최종 VQA 모듈에 입력되며, 주목 시각화를 통해 단계별로 명확하고 해석 가능한 추론 과정을 보여준다.

Figure 1: An image could contain information in multiple modalities, thus it looks different to models with different abilities. For example, the image in the eye of a human (top left) combines multi-modal contents. The visual modality contains the visual appearances of objects and texts. The semant

실험 결과

연구 질문

• RQ1 장면 텍스트 내 시각적, 의미적, 수치적 모달리티를 함께 모델링하면, 모호하거나 희귀한 단어에 대한 VQA 성능 향상에 기여하는가?
• RQ2 주목 기반 기법을 사용한 상호모달 메시지 전달은 알 수 없는 또는 다의어인 장면 텍스트 토큰의 의미를 얼마나 효과적으로 추론하는가?
• RQ3 시각적 두드러짐, 주변 텍스트, 수치적 관계는 VQA 작업에서 정확한 추론에 얼마나 기여하는가?
• RQ4 주목 시각화를 통해 모델의 추론 과정을 해석 가능하게 만들 수 있으며, 이러한 주목은 인간과 유사한 추론과 일치하는가?

주요 결과

• MM-GNN은 연결 기반 조합 기법을 사용하여 TextVQA 검증 세트에서 최고 성능을 기록했으며, VQA 정확도는 27.85%를 달성하였다.
• 제거 실험 결과, 모든 조합 기법(합산, 평균, 연결)이 제안된 연결 기법에 비해 성능이 떨어지며, 이는 연결 기법이 더 많은 정보를 유지하기 때문임을 확인하였다.
• 시각화 결과, MM-GNN의 주목 기반 기법이 선명하고 해석 가능하며, 질문 맥락에 따라 관련된 시각적 객체, 주변 텍스트, 수치 토큰에 집중하고 있음을 확인하였다.
• 희귀하거나 알 수 없는 단어인 'STP'와 'transilvania'의 의미를 시각적 두드러짐과 의미적 맥락을 활용하여 성공적으로 추론하였다.
• 다단계 추론 작업, 예를 들어 가장 큰 수치를 식별하거나 텍스트를 그에 해당하는 물리적 실체와 연결하는 데서도, MM-GNN은 다중모달 신호를 효과적으로 융합하여 기준 모델을 능가하는 성능을 보였다.
• 그림 5의 주목 시각화 결과, 모델이 질문 맥락에 따라 단계별로 추론을 수행하며, 주목 가중치가 명확하게 관련된 이미지 영역과 텍스트 토큰과 일치하고 있음을 확인하였다.

Figure 2: Three example questions requiring leveraging different types of multi-modal contexts to answer the questions. Q1: the model should use visual context (the “EPIC” is a prominent word on the bottle) to infer the semantics of the word “EPIC”. Q2: the model should infer that “Ged” indicates th