[논문 리뷰] Towards Overcoming False Positives in Visual Relationship Detection

Daisheng Jin, Xiao Ma외 9명|arXiv (Cornell University)|2020. 12. 23.

Multimodal Machine Learning Applications참고 문헌 52인용 수 5

한 줄 요약

이 논문은 SABRA를 제안하며, 균형 잡힌 음성 샘플링(BCS)을 통해 클래스 불균형한 음성 제안 분포 문제를 해결하고, 다중 헤드 이종 그래프 어텐션 네트워크(MH-GAT)와 공간 마스크 디코더를 통해 공간 모델링을 향상시켜, 저빈도이자 높은 모호성의 가짜 양성(false positive)을 크게 줄이는 새로운 시각적 관계 탐지 프레임워크이다. SABRA는 HOI 및 일반 VRD 벤치마크에서 최신 기준 성능(SOTA)을 달성하며, 저빈도이자 높은 모호성의 가짜 양성(false positive)을 크게 감소시킨다.

ABSTRACT

In this paper, we investigate the cause of the high false positive rate in Visual Relationship Detection (VRD). We observe that during training, the relationship proposal distribution is highly imbalanced: most of the negative relationship proposals are easy to identify, e.g., the inaccurate object detection, which leads to the under-fitting of low-frequency difficult proposals. This paper presents Spatially-Aware Balanced negative pRoposal sAmpling (SABRA), a robust VRD framework that alleviates the influence of false positives. To effectively optimize the model under imbalanced distribution, SABRA adopts Balanced Negative Proposal Sampling (BNPS) strategy for mini-batch sampling. BNPS divides proposals into 5 well defined sub-classes and generates a balanced training distribution according to the inverse frequency. BNPS gives an easier optimization landscape and significantly reduces the number of false positives. To further resolve the low-frequency challenging false positive proposals with high spatial ambiguity, we improve the spatial modeling ability of SABRA on two aspects: a simple and efficient multi-head heterogeneous graph attention network (MH-GAT) that models the global spatial interactions of objects, and a spatial mask decoder that learns the local spatial configuration. SABRA outperforms SOTA methods by a large margin on two human-object interaction (HOI) datasets and one general VRD dataset.

연구 동기 및 목표

• 시각적 관계 탐지(VRD)에서 높은 가짜 양성률이 발생하는 근본 원인, 특히 불균형한 음성 제안 분포로 인한 원인을 규명하는 것.
• 희귀하고 탐지하기 어려운 가짜 양성에 대해 특히 심한 음성 제안 분포의 편향으로 인해 발생하는 최적화 곤란 문제를 해결하는 것.
• 주어진 주어-목적어 쌍의 전반적 맥락과 국소적 공간 구성 요소를 명시적으로 모델링하여 VRD에서의 공간 추론 능력을 향상시키는 것.
• 인간-객체 상호작용(HOI) 및 일반 VRD 작업 모두에서 가짜 양성을 효과적으로 줄일 수 있는 일반화 가능한 프레임워크를 개발하는 것.

제안 방법

• SABRA는 음성 샘플의 불균형 분포를 모델링하기 위해 검출 정확도와 관계 정확성 기반으로 5개 클래스의 음성 제안 하위 분할($S_{\textrm{neg}}^{1:5}$)을 도입한다.
• 균형 잡힌 음성 제안 샘플링(BNPS)을 적용하여 각 하위 클래스의 빈도를 반전시켜 미니배치 샘플링을 클래스 균형을 유지하도록 하여 학습 안정성과 일반화 능력을 향상시킨다.
• 다중 헤드 이종 그래프 어텐션 네트워크(MH-GAT)를 사용하여 주어, 목적어, 유니온 특징에 대해 별도의 메시지 전파 방식을 적용함으로써 전반적 공간 및 관계 맥락을 모델링한다.
• 공간 마스크 디코더(SMD)를 도입하여 특징 공간에 공간 제약 조건을 부여함으로써 국소적 공간 구성 요소를 명시적으로 학습시켜 정렬 정확도를 향상시킨다.
• MH-GAT는 메시지 전파를 향상시키기 위해 간선 특징을 통합하고, SMD는 학습 가능한 마스크를 사용하여 유니온 특징 맵에서 관련 공간 영역에 어텐션을 집중시킨다.
• BNPS, MH-GAT, SMD를 통합한 전체 프레임워크는 VRD에서의 데이터 분포 불균형과 공간 모호성 문제를 동시에 최적화하도록 설계된다.

실험 결과

연구 질문

• RQ1 공간 모호성 외에 어떤 원인이 시각적 관계 탐지에서 높은 가짜 양성률을 초래하는가?
• RQ2 음성 제안 분포의 불균형이 VRD에서 모델 최적화 및 성능에 어떤 영향을 미치는가?
• RQ3 음성 제안의 균형 잡힌 샘플링이 VRD에서 희귀하고 어려운 가짜 양성을 탐지하는 데 효과적인가?
• RQ4 향상된 전반적 및 국소적 공간 모델링 기법이 VRD에서 가짜 양성을 얼마나 줄이는가?
• RQ5 균형 잡힌 샘플링과 공간 모델링의 통합이 HOI 및 일반 VRD 벤치마크에서 성능 향상에 얼마나 기여하는가?

주요 결과

• SABRA는 기준 모델 대비 저빈도이자 어려운 가짜 양성($S_{\textrm{neg}}^{3:5}$) 수를 71.1% 감소시켜, BNPS의 효과를 입증한다.
• BNPS와 공간 모듈(MH-GAT + SMD)의 조합은 총 가짜 양성을 71.1% 감소시키며, 공간 모듈만으로도 58.5% 감소시킨다.
• V-COCO 데이터셋에서 SABRA는 기준 모델 대비 AP role에서 2.04점의 절대적 향상을 기록하여, 데이터 불균형이 성능에 심각한 영향을 미친다는 것을 입증한다.
• 공간 마스크 디코더(SMD)는 이진 마스크와 위치 임베딩보다 우수한 성능을 보이며, 명시적인 공간 제약 조건 학습이 암묵적 방법보다 효과적임을 입증한다.
• 이종 메시지 전파와 간선 특징을 통합한 MH-GAT는 표준 GAT보다 성능 향상을 이룬다. 이는 특징 기반 메시지 전파의 중요성을 강조한다.
• SABRA는 V-COCO, HICO-DET, VRD 세 가지 벤치마크에서 최신 기준 성능(SOTA)을 달성하여, 일반화 능력과 강건성을 입증한다.