[논문 리뷰] Bridging Knowledge Graphs to Generate Scene Graphs

Alireza Zareian, Svebor Karaman외 1명|arXiv (Cornell University)|2020. 01. 07.

Multimodal Machine Learning Applications참고 문헌 56인용 수 18

한 줄 요약

이 논문은 시각적 색채 그래프와 공통 지식 지식 그래프를 연결하여 색채 그래프 생성을 향상시키는 그래프 기반 신경망인 GB-Net을 제안한다. 두 그래프 간에 메시지를 반복적으로 전달하고, 개체 수준의 실체와 일반 개념 클래스를 연결하는 동적 '브리지'를 정교화함으로써 GB-Net은 최신 기술 수준의 성능을 달성하며, mR@50에서 6.1% 및 mR@100에서 7.3%의 평균 재현율을 기록하여 이전 방법들보다 재현율과 균형 잡힌 성능 모두에서 뚜렷한 승리를 거두었다.

ABSTRACT

Scene graphs are powerful representations that parse images into their abstract semantic elements, i.e., objects and their interactions, which facilitates visual comprehension and explainable reasoning. On the other hand, commonsense knowledge graphs are rich repositories that encode how the world is structured, and how general concepts interact. In this paper, we present a unified formulation of these two constructs, where a scene graph is seen as an image-conditioned instantiation of a commonsense knowledge graph. Based on this new perspective, we re-formulate scene graph generation as the inference of a bridge between the scene and commonsense graphs, where each entity or predicate instance in the scene graph has to be linked to its corresponding entity or predicate class in the commonsense graph. To this end, we propose a novel graph-based neural network that iteratively propagates information between the two graphs, as well as within each of them, while gradually refining their bridge in each iteration. Our Graph Bridging Network, GB-Net, successively infers edges and nodes, allowing to simultaneously exploit and refine the rich, heterogeneous structure of the interconnected scene and commonsense graphs. Through extensive experimentation, we showcase the superior accuracy of GB-Net compared to the most recent methods, resulting in a new state of the art. We publicly release the source code of our method.

연구 동기 및 목표

• 부족한 세계 지식과 희귀 술어의 처리 능력 부족으로 인한 색채 그래프 생성(SGG)의 일반화 능력 저하 및 낮은 재현율 문제를 해결하기 위해.
• 색채 그래프와 공통 지식 지식 그래프를 두 종류의 지식 그래프로 통합하여 시각적 표현과 기호적 표현 간의 구조적 추론을 가능하게 하기 위해.
• 시각적 인스턴스와 개념 클래스 간의 노드 표현과 브리지 엣지를 함께 정교화하는 동적이고 반복적인 메시지 전달 메커니즘을 개발하기 위해.
• 외부 지식 그래프의 풍부하고 이질적인 구조를 활용하여 영감 없는 및 소수의 예시 일반화를 향상시키기 위해.
• 원칙적이고 그래프 기반의 방식으로 공통 지식을 통합함으로써 SGG 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 모델은 시각적 색채 그래프와 공통 지식 지식 그래프 사이의 브리지 추론 문제로 색채 그래프 생성을 공식화하며, 각 인스턴스 노드는 학습 가능한 브리지 엣지를 통해 해당 개념 클래스와 연결된다.
• 모델은 색채 그래프 내부, 공통 지식 그래프 내부, 그리고 브리지 간에 반복적으로 메시지 전달을 수행하며, 각 단계에서 노드 표현과 브리지 가중치를 정교화한다.
• 노드 및 엣지 특징은 이웃의 정보를 집계하는 그래프 신경망 레이어를 통해 업데이트되며, 다양한 그래프 유형의 기여도를 가중치로 고려하기 위해 주의 메커니즘이 사용된다.
• 브리지 엣지는 각 반복 단계에서 그래프 간의 노드 특징을 비교하여 동적으로 정교화되며, 이로써 시각적 인스턴스와 일반 개념 간의 정렬이 가능해진다.
• 이 방법은 두 단계 추론을 사용한다: 첫째, 색채 그래프 내 잠재적인 실체와 술어를 초기화한다. 둘째, 공통 지식 그래프 내에서 가장 관련성이 높은 개념 클래스에 연결함으로써 이를 분류한다.
• 빈도 높은 술어에 대한 편향을 줄이기 위해 클래스 균형 조정 기반의 변형인 GB-Net-β가 도입되었으며, 이는 전체 재현율을 유지하면서도 평균 재현율을 향상시킨다.

실험 결과

연구 질문

• RQ1 통합된 그래프 기반 프레임워크가 시각적 색채 그래프와 공통 지식 지식 그래프를 효과적으로 통합하여 색채 그래프 생성을 향상시킬 수 있는가?
• RQ2 두 상호 연결된 그래프 간 및 내부에서 반복적인 메시지 전달이 노드 분류 및 술어 예측에 어떻게 향상되는가?
• RQ3 구조화된 공통 지식을 통합할 경우 영감 없는 및 소수의 예시 일반화 능력 향상에 어느 정도 기여하는가?
• RQ4 브리지 정교화 및 메시지 전달 깊이의 영향은 모델 성능과 수렴에 어떤 영향을 미치는가?
• RQ5 노드 표현과 그래프 간 브리지 엣지를 함께 정교화하는 그래프 신경망이 정적 또는 히우리스틱 방식으로 지식을 사용하는 방법보다 우월한 성능을 낼 수 있는가?

주요 결과

• GB-Net은 Visual Genome SGGen 벤치마크에서 mR@50에서 6.1%, mR@100에서 7.3%의 평균 재현율을 기록하였으며, 이는 이전 최신 기술 수준의 5.5% 및 6.6%보다 뚜렷이 높은 성능이다.
• 클래스 균형 조정 기반 변형인 GB-Net-β는 평균 재현율을 평균 2.7%포인트 향상시켰으며, 전체 재현율을 유지함으로써 빈도 높은 술어에 대한 편향을 효과적으로 완화함을 입증하였다.
• 제거 실험 결과 공통 지식 그래프를 제거할 경우 성능이 mR@50에서 5.5%로 저하됨을 확인하여 외부 지식의 일반화 향상에 핵심적인 역할을 한다는 점을 입증하였다.
• 메시지 전달 반복 횟수를 3에서 1 또는 2로 줄일 경우 성능 저하가 심각하게 발생함을 확인하여 반복적 정교화가 모델 효과성에 필수적임을 시사하였다.
• FREQ, SMN, KERN과 같은 강력한 베이스라인보다도 특히 평균 재현율에서 뛰어난 성능을 기록하여 희귀 및 미사전 처리된 술어 클래스를 다루는 데서의 우월성을 입증하였다.
• SGGen 분할에서 67.0%의 재현율을 기록하여, 희귀 클래스에 대한 제한된 감독 조건에서도 예측 삼중항 전체에 대해 강력한 성능을 보였다.