[논문 리뷰] Scene Graph Generation with External Knowledge and Image Reconstruction

Jiuxiang Gu, Handong Zhao외 4명|arXiv (Cornell University)|2019. 04. 01.

Multimodal Machine Learning Applications참고 문헌 48인용 수 31

한 줄 요약

이 논문은 외부 공통 지식인 ConceptNet과 이미지 복원 손실을 통합하여 모델의 강건성과 일반화 능력을 향상시키는 새로운 시각적 그래프 생성 프레임워크를 제안한다. 동적 메모리 네트워크를 사용해 객체 및 어휘 특징을 정제하고, 이미지 복원을 통해 시각적 그래프 생성기를 정규화함으로써 VRD 및 Visual Genome 데이터셋에서 최신 기술 수준의 성능을 달성하며, 희귀 관계와 노이즈가 있는 애너테이션에 대해 회귀율을 크게 향상시킨다.

ABSTRACT

Scene graph generation has received growing attention with the advancements in image understanding tasks such as object detection, attributes and relationship prediction,~\etc. However, existing datasets are biased in terms of object and relationship labels, or often come with noisy and missing annotations, which makes the development of a reliable scene graph prediction model very challenging. In this paper, we propose a novel scene graph generation algorithm with external knowledge and image reconstruction loss to overcome these dataset issues. In particular, we extract commonsense knowledge from the external knowledge base to refine object and phrase features for improving generalizability in scene graph generation. To address the bias of noisy object annotations, we introduce an auxiliary image reconstruction path to regularize the scene graph generation network. Extensive experiments show that our framework can generate better scene graphs, achieving the state-of-the-art performance on two benchmark datasets: Visual Relationship Detection and Visual Genome datasets.

연구 동기 및 목표

• 기존의 시각적 그래프 데이터셋에서의 편향과 노이즈, 특히 긴 꼬리 분포와 누락되거나 잘못된 객체 애너테이션 문제를 해결하기 위해.
• ConceptNet와 같은 외부 지식 기반 데이터베이스에서의 공통 지식을 통합하여 시각적 그래프 생성 성능을 향상시키기 위해.
• 보조적인 이미지 복원 브랜치를 통해 시각적 그래프 예측 과정을 정규화함으로써 모델의 일반화 능력과 강건성을 향상시키기 위해.
• 실제 데이터 애너테이션의 제약에도 불구하고 기준 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• ConceptNet에서 관련 사실을 검색하고 다중 힙 추론을 위해 동적 메모리 네트워크(DMN)를 사용하는 지식 기반 특징 정제 모듈을 도입하여 객체 및 어휘 특징을 정제한다.
• 검출된 객체와 바운딩 박스에서 입력 이미지를 복원하는 이미지 수준의 감독 경로를 활용하여 학습 중 정규화 역할을 수행한다.
• GAN 기반 아키텍처를 사용해 시각적 그래프 생성과 이미지 복원을 동시에 최적화함으로써 특징 일관성과 맥락 인식 능력을 향상시킨다.
• 이미지 복원 손실은 학습 기간 동안만 적용하여, 추론 시 영향을 주지 않으면서 더 rich한 시각적 맥락을 학습할 수 있도록 한다.
• 지식 정제 및 이미지 복원 브랜치를 종합적으로 통합한 엔드 투 엔드로 학습 가능한 프레임워크를 구성하여 객체 검출 및 관계 예측 성능을 향상시킨다.
• 외부 지식을 활용해 잘못된 예측를 수정하고, 희귀 관계 및 희귀 객체 카테고리에 대해 회귀율을 향상시킨다.

실험 결과

연구 질문

• RQ1 ConceptNet에서 유래한 외부 공통 지식은 시각적 그래프 생성 모델의 일반화 능력과 정확도를 향상시키는 데 기여하는가?
• RQ2 이미지 복원 손실은 시각적 그래프 데이터셋의 노이즈가 많고 불완전한 애너테이션의 영향을 어떻게 완화하는가?
• RQ3 시각적 그래프 생성과 이미지 복원을 공동 최적화함으로써 긴 꼬리 분포 및 희소한 관계 분포에서의 성능 향상 정도는 어느 정도인가?
• RQ4 지식 추론과 이미지 수준의 감독을 통합하면 기존 기준 모델보다 객체 검출 및 관계 예측 성능이 향상되는가?
• RQ5 제안된 프레임워크는 VRD 및 Visual Genome와 같은 표준 기준 데이터셋에서 기존 최신 기술 수준의 방법들을 초월하는가?

주요 결과

• 제안된 KB-GAN 모델은 VRD 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 어휘 검출에 대해 recall@50가 27.39%, recall@100가 34.38%이며, 시각적 그래프 생성에 대해 각각 20.31%와 25.01%를 기록하였다.
• Visual Genome 데이터셋에서는 어휘 검출에 대해 recall@50가 23.51%, recall@100가 30.04%이며, 시각적 그래프 생성에 대해 각각 13.65%와 17.57%를 기록하여 이전 모든 방법들을 능가하였다.
• 제거 실험 결과, 이미지 수준의 감독을 추가함으로써 서브샘플된 VRD 데이터셋에서 어휘 검출의 recall@50가 15.44%에서 24.07%로 8.63% 향상됨을 확인하였다.
• 학습 데이터에서 20%의 객체 인스턴스를 제거한 상황에서도 시각적 그래프 생성의 recall@50가 0.77% 감소에 그쳐 데이터 희소성에 대해 강건함을 입증하였다.
• ConceptNet를 통한 공통 지식 통합은 Faster R-CNN 및 ViP-CNN에 비해 유의미한 mAP 향상을 이끌어내어 노이즈가 많은 조건에서의 객체 검출 효과성을 입증하였다.
• 정성적 결과에서는 재구성된 이미지가 시각적으로 타당하며 예측된 시각적 그래프와 잘 일치함을 확인하여, 모델이 의미 있는 시각적 및 관계적 표현을 학습할 수 있음을 검증하였다.