[논문 리뷰] Prototype-based Embedding Network for Scene Graph Generation

Chaofan Zheng, Xinyu Lyu외 3명|arXiv (Cornell University)|2023. 03. 13.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 시각적 분포의 다양성과 유사한 의미적 표현 간의 혼동을 줄이기 위해 의미적 프로토타입을 사용하여 엔티티와 술어를 모델링하는 새로운 시나리오 그래프 생성 방법인 프로토타입 기반 임베딩 네트워크(PE-Net)를 제안한다. 프로토타입 유도 학습과 프로토타입 정규화를 통해 PE-Net는 Visual Genome 및 Open Images에서 최신 기술 수준(SOTA) 성능을 달성하며, 간결하고 특징적인 표현을 통해 관계 예측 정확도를 크게 향상시킨다.

ABSTRACT

Current Scene Graph Generation (SGG) methods explore contextual information to predict relationships among entity pairs. However, due to the diverse visual appearance of numerous possible subject-object combinations, there is a large intra-class variation within each predicate category, e.g., "man-eating-pizza, giraffe-eating-leaf", and the severe inter-class similarity between different classes, e.g., "man-holding-plate, man-eating-pizza", in model's latent space. The above challenges prevent current SGG methods from acquiring robust features for reliable relation prediction. In this paper, we claim that the predicate's category-inherent semantics can serve as class-wise prototypes in the semantic space for relieving the challenges. To the end, we propose the Prototype-based Embedding Network (PE-Net), which models entities/predicates with prototype-aligned compact and distinctive representations and thereby establishes matching between entity pairs and predicates in a common embedding space for relation recognition. Moreover, Prototype-guided Learning (PL) is introduced to help PE-Net efficiently learn such entitypredicate matching, and Prototype Regularization (PR) is devised to relieve the ambiguous entity-predicate matching caused by the predicate's semantic overlap. Extensive experiments demonstrate that our method gains superior relation recognition capability on SGG, achieving new state-of-the-art performances on both Visual Genome and Open Images datasets.

연구 동기 및 목표

• 주어-목적어 쌍의 다양한 시각적 외형으로 인해 발생하는 술어 표현의 큰 내부 클래스 변동성을 해결하기 위해.
• ‘먹는다’와 ‘잡고 있다’처럼 시각적으로 유사하지만 의미적으로 다른 술어 간의 심각한 내부 클래스 유사성 문제를 완화하기 위해.
• 공유된 임베딩 공간에서 엔티티와 술어를 간결하고 특징적인 프로토타입 기반 표현으로 모델링하여 관계 인식 성능을 향상시키기 위해.
• 의미적 및 시각적 모호성에도 불구하고 강력한 엔티티-술어 매칭을 가능하게 하는 학습 전략을 개발하기 위해.
• 메시지 전달 모듈에 의존하지 않고도 표준 SGG 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• PE-Net는 공유된 임베딩 공간 내에서 각 엔티티와 술어를 프로토타입 기반 표현으로 모델링하며, 클래스 고유의 의미 정보를 활용해 특징 학습을 유도한다.
• 프로토타입 유도 학습(PL)은 임베딩 공간 내에서 유사도 및 유클리드 거리 손실을 최소화하여 주어-목적어 쌍과 술어 간의 매칭을 최적화한다.
• 프로토타입 정규화(PR)는 서로 다른 술어의 프로토타입 간의 거리를 넓혀 내부 클래스 간의 구분을 강화하도록 설계되었으며, 특히 의미적 겹침이 있는 술어에 대해 효과적이다.
• 모델은 최종 엔티티-술어 임베딩에 선형 분류기를 적용하여 관계를 예측하며, 복잡한 메시지 전달 모듈을 피한다.
• 관계 예측과 프로토타입 일치 목표를 통합한 다중 과제 손실을 사용해 엔드 투 엔드로 학습한다.
• 프로토타입 임베딩은 사전 학습된 텍스트 임베딩을 사용해 초기화되며, 학습 과정에서 시각적 특징과 일치하도록 개선된다.

실험 결과

연구 질문

• RQ1 의미 공간 내 프로토타입 기반 표현이 술어 특징의 내부 클래스 변동성을 줄일 수 있는가?
• RQ2 프로토타입 정규화가 시각적으로 유사하지만 의미적으로 다른 술어를 효과적으로 구분하는 데 기여하는가?
• RQ3 프로토타입 유도 학습이 시나리오 그래프 생성에서 엔티티-술어 매칭 정확도를 향상시키는가?
• RQ4 메시지 전달 모듈 없이도 프로토타입 기반 접근 방식이 기존 SGG 방법을 능가할 수 있는가?
• RQ5 기본 모델 대비 이 방법이 미세한 술어 인식 성능을 얼마나 향상시키는가?

주요 결과

• PE-Net는 Visual Genome 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, PredCls 작업에서 mR@100이 33.8%로 기준 모델(25.4%)보다 유의미하게 향상되었다.
• Open Images 데이터셋에서도 PE-Net는 새로운 최신 기술 수준 성능을 기록하여 다양한 시각적 분포에 걸쳐 강력한 일반화 능력을 보였다.
• 모델은 표현 품질 지표를 개선하여 IV-O(0.74)와 IIVR-O(0.24)를 기록하여 매우 간결하고 특징적인 임베딩을 생성함을 시사한다.
• 시각화 결과는 PE-Net가 Motifs보다 더 미세한 구분과 정확도를 가진 관계를 생성함을 보여주며, 예를 들어 ‘on’ 대신 ‘parked on’과 같은 표현을 더 잘 생성한다.
• 제거 실험 결과, 프로토타입 유도 학습과 프로토타입 정규화 모두 필수적임을 확인하였으며, 특히 PR이 내부 클래스 간 구분에 기여도가 높았다.
• 헤드 술어에 대한 Recall@K는 약간 감소했지만, 모델은 ‘on’을 ‘standing on’이나 ‘walking on’과 같은 더 구체적인 변형으로 정확히 할당함으로써 미세한 분류 성능을 향상시켰다.