[논문 리뷰] Graph Density-Aware Losses for Novel Compositions in Scene Graph Generation

B. A. Knyazev, Harm de Vries외 4명|arXiv (Cornell University)|2020. 05. 17.

Multimodal Machine Learning Applications참고 문헌 41인용 수 29

한 줄 요약

이 논문은 시나리오 그래프 생성(SGG)에서 zero-shot 및 few-shot 일반화 성능을 향상시키기 위해 밀도 보정된 엣지 손실을 제안한다. 이는 두 가지 핵심 문제를 해결한다: (1) 표준 손실은 희귀 관계를 포함한 희박한 그래프에 대해 뜻하지 않게 과도하게 페널티를 가한다. (2) 모델은 빈도 편향을 악용하여 일반화 성능이 떨어진다. 제안된 방법은 아키텍처 변경 없이 최소한의 계산 비용으로도 핵심 지표에서 few-shot 및 zero-shot 성능을 두 배 이상 향상시킨다.

ABSTRACT

Scene graph generation (SGG) aims to predict graph-structured descriptions of input images, in the form of objects and relationships between them. This task is becoming increasingly useful for progress at the interface of vision and language. Here, it is important - yet challenging - to perform well on novel (zero-shot) or rare (few-shot) compositions of objects and relationships. In this paper, we identify two key issues that limit such generalization. Firstly, we show that the standard loss used in this task is unintentionally a function of scene graph density. This leads to the neglect of individual edges in large sparse graphs during training, even though these contain diverse few-shot examples that are important for generalization. Secondly, the frequency of relationships can create a strong bias in this task, such that a blind model predicting the most frequent relationship achieves good performance. Consequently, some state-of-the-art models exploit this bias to improve results. We show that such models can suffer the most in their ability to generalize to rare compositions, evaluating two different models on the Visual Genome dataset and its more recent, improved version, GQA. To address these issues, we introduce a density-normalized edge loss, which provides more than a two-fold improvement in certain generalization metrics. Compared to other works in this direction, our enhancements require only a few lines of code and no added computational cost. We also highlight the difficulty of accurately evaluating models using existing metrics, especially on zero/few shots, and introduce a novel weighted metric.

연구 동기 및 목표

• 희귀 또는 미사용되는 객체-술어 조합에서 시나리오 그래프 생성(SGG)의 일반화 성능이 열 劣하는 문제를 해결하기 위해.
• 표준 SGG 손실이 밀도가 높은 그래프에 치우쳐져 희귀 관계를 포함한 정보가 풍부한 희박한 그래프를 간과한다는 것을 규명하기 위해.
• 학습 데이터의 빈도 편향이 모델이 일반적인 관계에 과도하게 피 Lotting하게 하여 zero/few-shot 성능을 악화시킨다는 것을 드러내기 위해.
• 그래프의 밀도에 따라 엣지 감독을 보정하는 새로운 가벼운 손실을 제안하여 희귀 조합에 대한 학습을 향상시키기 위해.
• 희귀 및 미사용 관계에 더 높은 중요도를 할당하는 새로운 가중 평가 지표를 도입하여 일반화 성능을 더 잘 추적하기 위해.

제안 방법

• 각 엣지에 대해 그래프의 밀도(노드당 엣지 수)의 역수로 교차 엔트로피 손실을 스케일링하는 밀도 보정 엣지 손실을 제안하여, 희박한 그래프에서의 과도한 페널티를 감소시킨다.
• SGG 모델 학습 중 수정된 손실을 적용하며, 몇 줄의 코드 변경만 필요하고 추론 비용은 추가로 발생하지 않는다.
• 희귀 및 미사용 관계에 더 높은 중요도를 할당하는 새로운 가중 지표를 도입하여 일반화에 대한 평가 민감도를 향상시킨다.
• 메시지 전달 모델(예: GCN 기반 메시지 전달)을 사용하여 SGG를 수행하며, Visual Genome 및 GQA 데이터셋 모두에서 학습 및 평가를 수행한다.
• 삼중항 예측 평가에 대해 IoU 기반 매칭(≥50%)을 사용하며, 주어, 목적어, 술어의 소프트맥스 점수의 곱으로 예측을 정렬한다.
• 두 가지 강력한 베이스라인인 [37]과 [41]에서 성능 향상을 검증하여, 다양한 모델과 데이터셋에서 일관된 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 학습 데이터의 그래프 밀도가 희귀 및 미사용 조합에서 SGG 모델의 일반화 성능에 어떤 영향을 미치는가?
• RQ2 학습 데이터의 빈도 편향이 SGG 모델의 zero-shot 및 few-shot 성능에 얼마나 심각하게 악영향을 미치는가?
• RQ3 단순한 밀도 인지 손실 재가중 전략이 아키텍처 변경 없이도 일반화 성능을 크게 향상시킬 수 있는가?
• RQ4 어떻게 평가 지표를 개선하여 SGG에서 희귀 및 미사용 관계에 대한 모델 성능을 더 잘 반영할 수 있는가?
• RQ5 제안된 방법이 기존 및 새로 제안된 가중 지표 모두에서 희귀 조합 일반화에 대해 성능을 향상시키는가?

주요 결과

• 표준 SGG 손실은 뜻하지 않게 희박한 그래프를 더 무겁게 페널티를 주어, 이러한 그래프에 존재하는 희귀 관계를 간과하게 한다.
• 제안된 밀도 보정 엣지 손실은 핵심 지표에서 few-shot 및 zero-shot 성능을 두 배 이상 향상시켰으며, 코드 변경 최소화로도 가능했다.
• 새로운 손실로 학습된 모델는 더 다양한 예측을 하며, Visual Genome에서의 정성적 비교를 통해 빈도 편향에 덜 취약하다.
• 새로운 가중 평가 지표는 희귀 조합 성능을 더 잘 반영하며, 빈도 편향이 있는 모델이 미사용 관계에서 성능이 열 劣한다는 것을 드러낸다.
• 아키텍처 수정 없이 Visual Genome 및 GQA 데이터셋 양쪽에서 최고 성능을 기록했으며, 특히 zero/few-shot 일반화에서 두각을 나타냈다.
• 실제로 정답 레이블이 잘못 표기되거나 동의어가 사용되는 경우(예: 'plant' vs. 'flower')에도 새 손실을 적용한 모델은 더 강력한 강건성과 일반화 능력을 보였다.