[논문 리뷰] On Exploring Undetermined Relationships for Visual Relationship Detection

Yibing Zhan, Jun Yu외 2명|arXiv (Cornell University)|2019. 05. 05.

Multimodal Machine Learning Applications인용 수 13

한 줄 요약

이 논문은 시각적 관계 탐지 성능을 향상시키기 위해 자동으로 생성하고 활용하는 비정의 관계(예: 약한 관계 또는 관계가 없는 관계, 잘못 탐지된 객체 등)를 다중 모odal 특징 기반의 미정의 관계 학습 네트워크(MF-URLN)를 통해 제안한다. 이는 결정적 신뢰도와 관계 예측을 공동으로 학습함으로써 이루어진다. 이 방법은 VRD 데이터셋에서 상위 50개 관계 탐지 재현율 23.9%를 달성하여 이전 방법보다 뚜렷한 향상을 보였다.

ABSTRACT

In visual relationship detection, human-notated relationships can be regarded as determinate relationships. However, there are still large amount of unlabeled data, such as object pairs with less significant relationships or even with no relationships. We refer to these unlabeled but potentially useful data as undetermined relationships. Although a vast body of literature exists, few methods exploit these undetermined relationships for visual relationship detection. In this paper, we explore the beneficial effect of undetermined relationships on visual relationship detection. We propose a novel multi-modal feature based undetermined relationship learning network (MF-URLN) and achieve great improvements in relationship detection. In detail, our MF-URLN automatically generates undetermined relationships by comparing object pairs with human-notated data according to a designed criterion. Then, the MF-URLN extracts and fuses features of object pairs from three complementary modals: visual, spatial, and linguistic modals. Further, the MF-URLN proposes two correlated subnetworks: one subnetwork decides the determinate confidence, and the other predicts the relationships. We evaluate the MF-URLN on two datasets: the Visual Relationship Detection (VRD) and the Visual Genome (VG) datasets. The experimental results compared with state-of-the-art methods verify the significant improvements made by the undetermined relationships, e.g., the top-50 relation detection recall improves from 19.5% to 23.9% on the VRD dataset.

연구 동기 및 목표

• 비정의 관계(약한 관계, 부정적 관계, 잘못 탐지된 객체 쌍 등)가 시각적 관계 탐지 성능 향상에 기여하는지 조사하는 것.
• 인간 레이블이 없는 데이터에 존재하지 않는 객체 쌍으로부터 의미 있는 비정의 관계를 자동으로 생성하는 방법을 개발하는 것.
• 시각적, 공간적, 언어적 특징을 융합하여 관계를 더 잘 표현할 수 있는 다중 모달 네트워크를 설계하는 것.
• 공유되고 상관관계가 있는 하위 네트워크를 사용하여 결정적 신뢰도와 관계 예측을 공동으로 학습하는 것.
• 비정의 관계가 일반화 능력과 탐지의 견고성 향상에 정규화 신호로 작용하는지 입증하는 것.

제안 방법

• MF-URLN은 Faster R-CNN가 탐지한 객체 쌍을 인간 레이블 관계와 비교하기 위해 설계된 기준을 사용하여, 일치하지 않는 쌍을 비정의 관계로 레이블링함으로써 비정의 관계를 생성한다.
• 각 객체 쌍에 대해 시각적(CNN 기반), 공간적(공간적 레이아웃), 언어적(워드 임베딩)의 세 가지 상호 보완적인 모달에서 특징을 추출하고 융합한다.
• 두 개의 상관관계가 있는 하위 네트워크를 사용한다: 하나는 결정적 신뢰도(결정적 쌍과 비정의 쌍을 구분)를 예측하고, 다른 하나는 실제 관계를 예측한다.
• 최종 관계 예측은 세 개의 네트워크(유니온, 주어, 목적어 기반 관계 학습자)의 점수의 기하 평균을 사용하여 계산되며, 공식은 $ P(R) = P(R|u) \cdot P(R|s) \cdot P(R|o) $ 이다.
• 공유된 파rameter 프레임워크에서 하위 네트워크를 훈련하기 위해 공동 손실 함수를 사용하여 지식 전이 및 일반화 능력 향상을 가능하게 한다.
• 결정적 신뢰도 하위 네트워크를 활용하여 예측을 보완하는 인퍼런스 모델(MF-URLN-IM)을 도입하여 성능을 추가로 향상시켰다.

실험 결과

연구 질문

• RQ1 약한 관계, 부정적 관계, 잘못 탐지된 객체 쌍과 같은 비정의 관계가 시각적 관계 탐지 성능 향상에 기여할 수 있는가?
• RQ2 비정의 관계를 비정의 이미지 데이터에서 자동으로 효과적으로 생성할 수 있는가?
• RQ3 다중 모달 특징 융합(시각적, 공간적, 언어적)이 복잡한 관계를 모델링하는 데 어떤 영향을 미치는가?
• RQ4 결정적 신뢰도와 관계 예측의 공동 학습이 탐지 성능 향상에 어떻게 기여하는가?
• RQ5 비정의 관계의 사용이 잘못 탐지된 객체 탐지의 부정적 영향을 줄일 수 있는가?

주요 결과

• MF-URLN은 VRD 데이터셋에서 상위 50개 관계 탐지 재현율 23.9%를 달성하여 기준 모델의 19.5%보다 뚜렷한 향상을 보였다.
• VRD 데이터셋에서 비정의 관계를 사용함으로써 상위 50개 문구 탐지 재현율이 25.2%에서 31.5%로 향상되었다.
• 인퍼런스 모델을 통합한 MF-URLN-IM 버전은 모든 지표에서 기본 MF-URLN을 능가하여 정밀한 신뢰도 추정의 가치를 입증했다.
• 결정적 신뢰도 하위 네트워크는 인간 레이블 관계를 효과적으로 강조하고 잘못 탐지된 객체에서 유래한 가짜 양성 결과를 억제하여 탐지의 견고성을 향상시켰다.
• 실패 사례 분석 결과, 가림을 입은 자세(예: 사람이 차에 앉아 있는 경우)와 저신뢰도 비정의 관계는 여전히 관계 점수 평가 향상에 있어 도전 과제로 남아 있어 향후 개선 여지가 있음을 시사한다.
• 결과는 비정의 관계가 효과적인 정규화 신호로 작용하여, 기존에 관측된 관계뿐 아니라 제로샷 관계에 대해서도 일반화 능력과 성능 향상에 기여함을 확인한다.