[논문 리뷰] Bipartite Graph Network with Adaptive Message Passing for Unbiased Scene Graph Generation

Rongjie Li, Songyang Zhang외 2명|arXiv (Cornell University)|2021. 04. 01.

Multimodal Machine Learning Applications참고 문헌 59인용 수 14

한 줄 요약

이 논문은 장기적인 분포와 노이즈가 많은 컨텍스트 모델링 문제를 해결하기 위해 적응형 메시지 전파 기반의 신뢰도 인식 이분 그래프 신경망(BGNN)을 제안한다. 이는 Visual Genome, Open Images V4 및 V6에서 최신 기술 수준(SOTA) 성능을 달성하며, 테일 카테고리의 리콜을 크게 향상시키면서도 전체 정확도를 유지한다. 이중 수준의 데이터 재표본 전략과 관계 신뢰도 기반 동적 엣지 가중치를 통합함으로써, 장기적인 분포 문제를 효과적으로 해결한다.

ABSTRACT

Scene graph generation is an important visual understanding task with a broad range of vision applications. Despite recent tremendous progress, it remains challenging due to the intrinsic long-tailed class distribution and large intra-class variation. To address these issues, we introduce a novel confidence-aware bipartite graph neural network with adaptive message propagation mechanism for unbiased scene graph generation. In addition, we propose an efficient bi-level data resampling strategy to alleviate the imbalanced data distribution problem in training our graph network. Our approach achieves superior or competitive performance over previous methods on several challenging datasets, including Visual Genome, Open Images V4/V6, demonstrating its effectiveness and generality.

연구 동기 및 목표

• 시각적 관계에서의 장기적인 분포와 높은 클래스 내 변동성을 해결하여, 시나리오 그래프 모델이 헤드 카테고리 쪽으로 편향되는 문제를 해결한다.
• 기반 그래프 메시지 전파에서 노이즈가 많은 주어-목적어 관계를 걸러내어 컨텍스트 모델링에서 오류 전파를 줄인다.
• 새로운 훈련 전략을 통해 자원이 적은(테일) 술어 및 목적어 카테고리에서의 성능을 향상시킨다.
• 완전 연결 또는 희소 그래프보다 더 효과적으로 엔티티-술어 관계를 모델링할 수 있는 구조적이고 신뢰도 인식 기반의 그래프 네트워크를 개발한다.
• 엔드 투 엔드 시나리오 그래프 생성에서 헤드 및 테일 카테고리 성능 간의 더 나은 트레이드오프를 달성한다.

제안 방법

• 엔티티와 술어 제안 간의 정보 흐름을 별도로 모델링하기 위해 방향성 엣지를 가진 이분 그래프 신경망(BGNN)을 사용한다.
• 예측된 관계 신뢰도에 기반해 메시지 전파를 동적으로 가중하는 적응형 메시지 전파 메커니즘을 도입하여, 낮은 신뢰도의 관계에서 유입되는 노이즈를 줄인다.
• 엔티티 및 술어 노드 간의 반복적 메시지 전파를 통해 표현을 점진적으로 개선하는 다단계 훈련 과정을 구현한다.
• 이중 수준의 데이터 재표본 전략은 이미지 수준의 오버샘플링과 인스턴스 수준의 언더샘플링을 조합하여 훈련 중 헤드 및 테일 카테고리를 균형 있게 유지한다.
• 엔티티 및 술어 표현은 메시지 전파를 통해 개선된 후 선형 분류기로 분류된다.
• 메시지 전파의 가중치를 위한 신뢰도 추정은 훈련 중에 엔드 투 엔드로 학습되며, 이는 동적 노이즈 억제를 가능하게 한다.

Figure 1 : The illustration of biased scene graph generation and empirical study on Visual Genome. As shown in (D), the baseline (MSDN [ 23 ] ) performance is dominated by the head categories due to the imbalanced data. We estimate an upper-bound performance by ignoring negative predicate-entity con

실험 결과

연구 질문

• RQ1 관계 신뢰도 기반의 적응형 메시지 전파가 시나리오 그래프 생성에서 오류 전파를 줄이는가?
• RQ2 이중 수준의 데이터 재표본 전략이 낮은 빈도(테일) 술어 및 목적어에 대한 모델 일반화 능력을 향상시키는가?
• RQ3 장기적인 분포를 가진 시각적 관계를 모델링할 때, 이분 그래프 구조가 완전 연결 또는 희소 그래프보다 우수한가?
• RQ4 기준 데이터셋에서 제안된 방법이 최신 기술 수준 모델과 평균 리콜 및 가중치 AP 측면에서 어떻게 비교되는가?
• RQ5 실제 관측 결과로 볼 때, 노이즈가 많은 주어-목적어 관계를 제거하면 기준 성능이 얼마나 향상되는가?

주요 결과

• Open Images V6에서 제안된 BGNN는 평균 리콜@50(mR@50) 40.45를 달성하여, 이전 방법들인 GPS-Net(38.93) 및 RelDN(37.20)을 능가한다.
• Open Images V6에서 가중치 메트릭 스코어 42.06을 기록하여 이전 SOTA 방법인 GPS-Net*(41.60)를 초월한다.
• Visual Genome에서 3단계 및 3회 반복을 사용할 경우, mR@100는 12.6, 테일 카테고리 리콜은 6.0을 기록하여 낮은 빈도의 관계에서 강력한 성능을 보였다.
• 절단 실험 결과, 3회 반복 및 3단계가 최적의 성능를 낳으며, 이 이상의 설정에서는 성능이 포화 상태에 도달함을 확인했다.
• 실증 연구 결과, 노이즈가 많은 주어-목적어 관계를 제거하면 기준 성능이 향상됨을 확인하였으며, 이는 신뢰도 인식 기반 메시지 전파의 필요성을 뒷받침한다.
• 이중 수준 재표본 전략은 헤드 및 테일 카테고리 간의 더 나은 트레이드오프를 가능하게 하여, 희귀 술어에 대한 성능 향상을 이끌었으며 헤드 카테고리 정확도는 저하되지 않았다.

Figure 2 : Illustration of overall pipeline of our BGNN model. RCE denotes the relationship confidence estimation module. CMP denotes the confidence-aware message propagation model. SG Predictor is the scene graph predictor for the final prediction.