[논문 리뷰] Dual ResGCN for Balanced Scene GraphGeneration

Jingyi Zhang, Yong Zhang외 4명|arXiv (Cornell University)|2020. 11. 09.

Multimodal Machine Learning Applications참고 문헌 45인용 수 8

한 줄 요약

이 논문은 이중 잔차 GCN(Dual ResGCN)을 제안하며, 객체 수준과 관계 수준의 맥락을 이중적으로 모델링함으로써 클래스 불균형 문제를 명시적으로 해결하는 새로운 그래프 신경망을 제시한다. 객체 특징에 대해 교차 attention을 도입하고 관계의 공존 사전 지식을 통합함으로써 희귀하지만 의미적으로 풍부한 동사 예측 성능을 크게 향상시키면서도 빈도 높은 관계에 대한 성능를 유지하여 Visual Genome 데이터셋에서 최신 기준(mean recall)을 달성한다.

ABSTRACT

Visual scene graph generation is a challenging task. Previous works have achieved great progress, but most of them do not explicitly consider the class imbalance issue in scene graph generation. Models learned without considering the class imbalance tend to predict the majority classes, which leads to a good performance on trivial frequent predicates, but poor performance on informative infrequent predicates. However, predicates of minority classes often carry more semantic and precise information~( extit{e.g.}, \emph{`on'} v.s \emph{`parked on'}). % which leads to a good score of recall, but a poor score of mean recall. To alleviate the influence of the class imbalance, we propose a novel model, dubbed extit{dual ResGCN}, which consists of an object residual graph convolutional network and a relation residual graph convolutional network. The two networks are complementary to each other. The former captures object-level context information, extit{i.e.,} the connections among objects. We propose a novel ResGCN that enhances object features in a cross attention manner. Besides, we stack multiple contextual coefficients to alleviate the imbalance issue and enrich the prediction diversity. The latter is carefully designed to explicitly capture relation-level context information extit{i.e.,} the connections among relations. We propose to incorporate the prior about the co-occurrence of relation pairs into the graph to further help alleviate the class imbalance issue. Extensive evaluations of three tasks are performed on the large-scale database VG to demonstrate the superiority of the proposed method.

연구 동기 및 목표

• 장면 그래프 생성에서 빈도 높은 관계에 치우친 모델이 희귀하지만 정보량이 많은 관계를 과소 예측하는 문제를 해결하기 위해.
• 'parked on'이나 'walking in'과 같이 세밀한 장면 이해를 담고 있는 희귀 동사를 예측하는 데에 도움을 주기 위해.
• 빈도 높은 관계에 대해 높은 성능를 유지하면서도 관계 예측의 정교함과 다양성을 향상시키기 위해.
• 추가 하이퍼파rameter가 필요 없이도 구조적 및 관계적 사전 지식을 그래프 컨volution 과정에 통합하기 위해.

제안 방법

• Object ResGCN는 객체 수준 맥락을 모델링하기 위해 새로운 교차 attention 메커니즘을 사용하여 특징 집합을 유도한다.
• Object ResGCN는 여러 개의 맥락 계수를 스택하여 특징 표현을 풍부화하고 클래스 불균형 문제를 완화한다.
• Relation ResGCN는 관계 특징을 노드로 간주하고 고차원의 구분 능력 있는 특징을 집계하여 관계 수준 맥락을 모델링한다.
• Relation ResGCN는 관계 쌍의 공존 패턴에 대한 사전 지식을 그래프 구조에 명시적으로 통합하여 희귀 관계 예측 성능을 향상시킨다.
• 두 브랜치는 상호 보완적이다: Object ResGCN는 객체 표현을 향상시키고, Relation ResGCN는 관계 맥락을 활용해 관계 예측을 정교화한다.
• 모델은 OHEM 없이 표준 교차 엔트로피 손실을 사용하여 하이퍼파rameter 민감도를 피하고 비용 감안 기반 기준 모델보다 성능이 뛰어나다.

실험 결과

연구 질문

• RQ1 객체 수준과 관계 수준 맥락을 함께 모델링하면 장면 그래프 생성에서 희귀 관계의 성능 향상에 기여하는가?
• RQ2 관계 쌍의 공존 사전 지식을 통합할 경우 희귀 동사 예측에 어떤 영향을 미치는가?
• RQ3 교차 attention과 스택된 계수를 갖는 이중 브랜치 잔차 GCN 아키텍처가 단일 브랜치 또는 비잔차 모델보다 우월한가?
• RQ4 추가 학습 하이퍼파rameter 없이도 사전 지식을 그래프 구조에 통합하여 클래스 불균형 영향을 줄일 수 있는가?

주요 결과

• 제안된 Dual ResGCN는 Visual Genome 데이터셋에서 SOTA 성능을 달성하였으며, SGG 작업에서 mR@100이 21.5%로 이전 방법들을 크게 앞서간다.
• PredCls 벤치마크에서 모델은 R@100이 68.2%이고 mR@100이 21.5%를 기록하여 강력한 일반화 능력과 균형 잡힌 성능을 입증한다.
• 정성적 결과 분석에서 Dual ResGCN는 VC-TREE와 같은 SOTA 방법이 탐지하지 못한 세밀한 희귀 관계인 'parked on'과 'walking in'을 성공적으로 예측한다.
• Relation ResGCN 브랜치만으로도 Object ResGCN 대비 mR@100이 1.5%p 향상되어 관계 수준 맥락 모델링의 가치를 확인한다.
• OHEM 기반의 비용 감안 학습보다 성능이 뛰어나고 하이퍼파rameter 민감도도 낮아, 구조적 사전 지식 통합의 효과를 입증한다.
• 여러 개의 맥락 계수를 스택하는 것(N=4)이 최고의 성능를 내며, 반복적인 맥락 정교화가 클래스 분포 영향을 균형 있게 만드는 데 기여함을 시사한다.