[논문 리뷰] Sketching Image Gist: Human-Mimetic Hierarchical Scene Graph Generation

Wenbin Wang, Ruiping Wang외 2명|arXiv (Cornell University)|2020. 07. 17.

Multimodal Machine Learning Applications참고 문헌 56인용 수 10

한 줄 요약

이 논문은 인간의 인지 방식을 모방하는 계층적 색인 그래프 생성 프레임워크를 제안한다. 이는 계층적 엔티티 트리(Hierarchical Entity Tree, HET)와 하이브리드-LSTM을 사용하여 계층적 및 형제 관계의 맥락을 인코딩하며, 관계 랭킹 모듈(Relation Ranking Module, RRM)을 통해 객체의 시각적 주목도와 크기를 기반으로 핵심 관계를 우선순위화함으로써, 색인 그래프 생성 분야에서 최고 성능을 달성하고 이미지 고유의 핵심을 드러내는 관계를 효과적으로 탐색한다.

ABSTRACT

Scene graph aims to faithfully reveal humans' perception of image content. When humans analyze a scene, they usually prefer to describe image gist first, namely major objects and key relations in a scene graph. This humans' inherent perceptive habit implies that there exists a hierarchical structure about humans' preference during the scene parsing procedure. Therefore, we argue that a desirable scene graph should be also hierarchically constructed, and introduce a new scheme for modeling scene graph. Concretely, a scene is represented by a human-mimetic Hierarchical Entity Tree (HET) consisting of a series of image regions. To generate a scene graph based on HET, we parse HET with a Hybrid Long Short-Term Memory (Hybrid-LSTM) which specifically encodes hierarchy and siblings context to capture the structured information embedded in HET. To further prioritize key relations in the scene graph, we devise a Relation Ranking Module (RRM) to dynamically adjust their rankings by learning to capture humans' subjective perceptive habits from objective entity saliency and size. Experiments indicate that our method not only achieves state-of-the-art performances for scene graph generation, but also is expert in mining image-specific relations which play a great role in serving downstream tasks.

연구 동기 및 목표

• 기존 색인 그래프 생성 방법에서 계층적 구조가 부족하여 인간의 인지 습관을 반영하지 못하는 문제를 해결하기 위해.
• 이를 위해 계층적 엔티티 표현을 통해 이미지의 핵심 개체와 핵심 관계를 묘사하는 데 인간의 선호도를 모델링하기 위해.
• 일반적인 관계나 공통 지식에 기반한 관계보다 이미지 고유의, 인지적으로 중요한 관계를 우선순위로 정렬하는 관계 랭킹 모듈(Relation Ranking Module, RRM)을 개발하기 위해.
• MSCOCO 캡션에서 파생된 핵심 관계를 포함한 새로운 벤치마크 데이터셋인 VG-KR을 만들기 위해.
• 이미지 캡션과 같은 후행 작업에서, 이미지의 핵심 시각적 내용을 더 잘 반영하는 색인 그래프 생성을 통해 성능 향상시키기 위해.

제안 방법

• 이미지를 계층적 엔티티 트리(Hierarchical Entity Tree, HET)로 표현하며, 각 노드는 객체이며 더 세분화된 하위 객체로 분해될 수 있어 인간의 인지 계층을 모방한다.
• HET의 계층적 구조와 형제 관계 맥락을 모두 인코딩하기 위해 하이브리드-LSTM을 사용하여 다양한 인지 수준 간의 구조적 관계를 포착한다.
• 객체의 시각적 주목도와 정규화된 크기를 기반으로 관계를 랭킹하는 관계 랭킹 모듈(Relation Ranking Module, RRM)을 설계하여 인간의 주관적 중요도를 반영한다.
• 관계 중요도를 위한 새로운 지표를 도입한다: Φ′ = S^sub + S^obj + A(o^sub)/A(o_I) + A(o^obj)/A(o_I), 주목도와 상대적 크기를 조합하여 작은 구성 요소의 과대평가를 균형 잡는다.
• Visual Genome를 확장하여, MSCOCO 캡션에서 유도된 핵심 관계 레이블을 포함한 VG-KR 데이터셋을 구축하여 RRM의 학습 및 평가에 활용한다.
• RRM를 통해 관계를 랭킹하고, 상위 랭킹 관계가 이미지의 핵심을 형성하도록 색인 그래프를 생성하며, 이를 이미지 캡션 및 후행 작업에 활용한다.

실험 결과

연구 질문

• RQ1 색인 그래프 생성이 어떻게 인간의 인지 계층을 반영할 수 있는가? 특히 주요 사건과 핵심 관계를 우선순위로 정렬하는가?
• RQ2 객체의 주목도와 크기가 이미지 기반 서술에서 인간의 관계 선호도를 얼마나 잘 예측할 수 있는가?
• RQ3 계층적 색인 그래프 표현이 평탄한 비계층적 접근 방식에 비해 생성된 색인 그래프의 품질과 관련성에 어떤 영향을 미치는가?
• RQ4 제안된 RRM이 일반적인 관계나 배경 관계보다 이미지 고유의 비틀림 없는 관계를 얼마나 효과적으로 식별하는가?
• RQ5 인간을 모방하는 계층적 구조를 통합함으로써 이미지 캡션과 같은 후행 작업에서 성능 향상이 이루어지는가?

주요 결과

• 제안된 HetH-RRM 모델은 표준 색인 그래프 생성 벤치마크에서 최고 성능을 달성하여, 검출 및 랭킹 지표 모두에서 이전 방법들을 능가한다.
• 관계 랭킹 모듈(RRM)은 이미지 고유의 관계 탐색에 있어 뚜렷한 개선 효과를 보이며, HetH-RRM에서 상위 랭킹 관계가 기준 모델보다 이미지의 핵심 내용과 더 밀접하게 일치한다.
• 제거 실험 결과, RRM 지표(Φ′)에서 객체의 주목도와 정규화된 크기를 조합한 것이 IDC와 CS 간 강한 상관관계를 유도함으로써 설계 선택의 타당성을 입증한다.
• 정성적 결과는 HetH-RRM에서 상위 관계로부터 생성된 캡션들이 여성의 우산 소지와 같은 필수 이미지 콘텐츠를 더 잘 다루고 있음을 보여준다.
• VG-KR 데이터셋 분석 결과, 현재의 방법들은 종종 이미지의 실제 핵심 내용과 다를지라도 '여자, 머리가 있음'과 같은 사소하거나 공통 지식 기반 관계를 상위 랭킹으로 예측한다.
• 낮은(IDC)/높은(CS) 및 높은(IDC)/낮은(CS) 관계 트리플릿 분석을 통해, 작은 주목도가 높은 구성 요소는 종종 잘못된 높은 주목도를 유도하지만, 인지적 중요도는 낮아, 크기 인식 기반의 랭킹이 필요함을 입증한다.