[논문 리뷰] Seeing is Knowing! Fact-based Visual Question Answering using Knowledge Graph Embeddings

Kiran Ramnath, Mark Hasegawa‐Johnson|arXiv (Cornell University)|2020. 12. 31.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

이 논문은 지식 그래프(KG) 임베딩을 활용해 불완전한 KG에서 추론할 수 있도록 하는 새로운 사실 기반 시각질의 질문 응답(Fact-based Visual Question Answering, FVQA) 프레임워크인 Seeing is Knowing(SiK)을 제안한다. 이는 필요한 사실이 누락되어도 정확한 답변 예측이 가능하게 한다. '이미지-지식' 표현 방식과 공통 주의 메커니즘(CoAttention)을 도입함으로써 SiK는 O(m)의 추론 복잡도를 달성하여 기존의 O(N log N) SOTA 방법보다 훨씬 빠르며, 누락된 엣지 추론 작업에서 SOTA 모델보다 26%의 절대적 성능 향상을 이룬다.

ABSTRACT

Fact-based Visual Question Answering (FVQA), a challenging variant of VQA, requires a QA-system to include facts from a diverse knowledge graph (KG) in its reasoning process to produce an answer. Large KGs, especially common-sense KGs, are known to be incomplete, i.e., not all non-existent facts are always incorrect. Therefore, being able to reason over incomplete KGs for QA is a critical requirement in real-world applications that has not been addressed extensively in the literature. We develop a novel QA architecture that allows us to reason over incomplete KGs, something current FVQA state-of-the-art (SOTA) approaches lack due to their critical reliance on fact retrieval. We use KG Embeddings, a technique widely used for KG completion, for the downstream task of FVQA. We also employ a new image representation technique we call 'Image-as-Knowledge' to enable this capability, alongside a simple one-step CoAttention mechanism to attend to text and image during QA. Our FVQA architecture is faster during inference time, being O(m), as opposed to existing FVQA SOTA methods which are O(N log N), where m = number of vertices, N = number of edges = O(m^2). KG embeddings are shown to hold complementary information to word embeddings: a combination of both metrics permits performance comparable to SOTA methods in the standard answer retrieval task, and significantly better (26% absolute) in the proposed missing-edge reasoning task.

연구 동기 및 목표

• 기존 방법이 불완전한 지식 그래프에서 필요한 사실이 누락되었을 때 실패하는 사실 기반 VQA(FVQA)의 핵심적 격차를 해결한다.
• 완전한 사실 검색에 의존하지 않고 지식 그래프 임베딩을 사용해 불완전한 KG에서 추론할 수 있는 견고한 FVQA 아키텍처를 개발한다.
• '이미지-지식'을 도입하여 시각 입력을 지식 그래프 임베딩 벡터의 스트링으로 표현함으로써 다중모달 정렬을 향상시킨다.
• 질의의 텍스트와 시각적 엔티티를 동시에 고려해 답변 예측 동안 주의를 기울이는 공통 주의 메커니즘을 설계한다.
• 지식 그래프의 정점 수 m에 비례하는 O(m) 복잡도로 복잡도를 낮춰 추론 속도를 향상시킨다.

제안 방법

• TransE와 RotatE와 같은 거리 기반 모델을 통해 학습된 지식 그래프 임베딩을 사용하여, 엔티티-관계 다층 퍼셉트론(ERMLP)으로 삼중항을 평가한다.
• 이미지에 검출된 엔티티의 지식 그래프 임베딩 벡터를 집계하여 '이미지-지식'으로 표현함으로써 시각적 개념의 의미적 스트링을 형성한다.
• 질의 단어를 사용해 엔티티 벡터의 가중 조합을 계산하는 일단계 공통 주의 메커니즘을 적용하여 통합된 시각-텍스트 표현을 생성한다.
• 추론 중에 지식 그래프를 쿼리할 수 있도록 게이팅 퓨전을 사용해 두 개의 동일한 SiK 모델을 훈련시켜, 사실이 누락되었을 경우에도 견고한 답변 검색을 가능하게 한다.
• 어휘 유사도(어휘 임베딩에서 유도)와 지식 그래프 의미 유사도(지식 그래프 임베딩에서 유도)를 복합 점수 함수를 통해 융합하여 검색 정확도를 향상시킨다.
• 다양한 유사도 측정 기준(어휘, 지식 그래프 임베딩, 이미지-엔티티 유사도)의 가중 융합을 위한 학습 가능한 점수 함수를 사용한다.

실험 결과

연구 질문

• RQ1 필요한 사실이 지식 그래프(KG)에 누락되었을 때 지식 그래프 임베딩이 FVQA에서 효과적인 추론을 가능하게 하는가?
• RQ2 제안된 '이미지-지식' 표현 방식은 기존의 시각적 인코딩 방법과 비교해 FVQA에서 어떻게 성능을 냈는가?
• RQ3 지식 그래프 임베딩과 어휘 임베딩을 융합했을 때, 완전한 및 불완전한 지식 그래프 환경에서 답변 검색 성능에 어떤 영향을 미치는가?
• RQ4 제안된 아키텍처는 기존의 SOTA FVQA 방법보다 더 높은 추론 효율성을 달성하는가?
• RQ5 실세계 시나리오에서 이미지, 텍스트, 지식 그래프 소스에서 유래한 다중모달 편향이 모델 예측에 어떻게 상호작용하고 영향을 미치는가?

주요 결과

• SiK는 SOTA 방법 대비 누락된 엣지 추론 작업에서 26%의 절대적 성능 향상을 기록하여 지식 그래프의 불완전성에 대한 강력한 내성성을 입증했다.
• 지식 그래프 임베딩 유사도와 어휘 유사도를 복합적으로 융합한 점수 함수는 정답 사실이 존재할 경우 단일 SiK보다 6%포인트 더 높은 답변 검색 정확도를 달성했다.
• '이미지-지식' 표현 방식은 의미적 관계를 지식 그래프 임베딩 스트링을 통해 더 잘 포착하므로, 멀티핫 인코딩 대비 정확도에서 3포인트 향상되었다.
• SiK의 추론 복잡도는 m(지식 그래프의 정점 수)에 비례하는 O(m)이며, 이는 특히 큰 지식 그래프에서 O(N log N) SOTA 방법보다 훨씬 빠르게 작동함을 의미한다.
• 모델의 주요 실패 원인은 의미적으로 유사하지만 잘못된 엔티티(예: 부모/자식 또는 다단계 관련 엔티티)를 예측하는 데서 기인하며, 세밀한 엔티티 식별 능력의 한계를 보여준다.
• 윤리적 분석 결과, 특히 지식 그래프에서 차수 낮은 엔티티에서 기인하는 다중모달 편향이 악성으로 증폭될 수 있음을 확인했으며, 이는 지식 그래프의 비현실적인 위치 연결로 인해 동물원 이미지에 대해 '짐바브웨'를 잘못 예측한 사례에서 확인되었다.