[논문 리뷰] Unbiased Scene Graph Generation via Rich and Fair Semantic Extraction

Bin Wen, Jie Luo외 2명|arXiv (Cornell University)|2020. 02. 01.

Multimodal Machine Learning Applications참고 문헌 26인용 수 8

한 줄 요약

이 논문은 시각적 지식 그래프 생성 모델인 RiFa를 제안하며, 관계 의미에 대한 암묵적 가정(예: 대칭성)과 학습 애너테이션에서의 클래스 불균형이라는 두 가지 주요 편향을 완화한다. 의사-시아메스 네트워크를 사용해 주어진 대상과 목적어를 별도로 임bedding하고, 컨텍스트 인식형이며 애너테이션에 종속되지 않는 스코어링 메커니즘을 도입함으로써, RiFa는 Visual Genome에서 최고 성능을 기록하며 특히 희귀 관계와 비대칭성, 대칭성과 같은 의미적 성질을 잘 포착한다.

ABSTRACT

Extracting graph representation of visual scenes in image is a challenging task in computer vision. Although there has been encouraging progress of scene graph generation in the past decade, we surprisingly find that the performance of existing approaches is largely limited by the strong biases, which mainly stem from (1) unconsciously assuming relations with certain semantic properties such as symmetric and (2) imbalanced annotations over different relations. To alleviate the negative effects of these biases, we proposed a new and simple architecture named Rich and Fair semantic extraction network (RiFa for short), to not only capture rich semantic properties of the relations, but also fairly predict relations with different scale of annotations. Using pseudo-siamese networks, RiFa embeds the subject and object respectively to distinguish their semantic differences and meanwhile preserve their underlying semantic properties. Then, it further predicts subject-object relations based on both the visual and semantic features of entities under certain contextual area, and fairly ranks the relation predictions for those with a few annotations. Experiments on the popular Visual Genome dataset show that RiFa achieves state-of-the-art performance under several challenging settings of scene graph task. Especially, it performs significantly better on capturing different semantic properties of relations, and obtains the best overall per relation performance.

연구 동기 및 목표

• 기존의 시나리오 그래프 모델에서 관계에 대해 고정된 의미적 성질(예: 대칭성)을 암묵적으로 가정하는 편향을 해결한다.
• Visual Genome와 같은 데이터셋에서 애너테이션 분포의 불균형으로 인해 낮은 자원을 가진 관계에서 성능 저하를 완화한다.
• 애너테이션 빈도에 관계없이 관계 예측을 공정하게 순위 매길 수 있는 방법을 개발한다.
• 사전 가정 없이 관계의 미묘한 의미적 성질(예: 비대칭성, 이행성)을 포착할 수 있도록 한다.
• 편향이 제거된 조건에서 단순한 CNN 기반 아키텍처가 복잡한 GNN 기반 모델보다 우수한 성능을 낼 수 있음을 입증한다.

제안 방법

• 주어진 대상과 목적어에 대해 비대칭적이지 않은 별도의 임베딩을 학습하기 위해 의사-시아메스 네트워크를 사용한다.
• 각 주어진 대상-목적어 쌍을 둘러싸는 최소 경계 상자에서 시각적 특징을 추출하여 국소적 컨텍스트를 포착한다.
• 양쪽 엔티티의 시각적 특징과 의미적 특징을 조합하여 공동 임베딩 공간에서 관계를 예측한다.
• 애너테이션 빈도에 종속되지 않는 관계 스코어링 메커니즘을 도입하여 예측을 공정하게 순위 매긴다.
• 낮은 자원을 가진 관계에 대해서도 정확한 관계 예측을 장려하기 위해 대비 학습 유사 목적함수를 사용한다.
• 관계 전용 클래스 가중치에 의존하지 않고 예측된 관계 스코어에 대해 교차 엔트로피 손실을 사용하여 모델을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 관계의 대칭성과 기타 의미적 성질에 대한 암묵적 가정이 시나리오 그래프 생성 성능에 얼마나 큰 영향을 미치는가?
• RQ2 애너테이션의 불균형이 시나리오 그래프 모델의 희귀 관계에 대한 일반화 능력에 어떻게 영향을 미치는가?
• RQ3 편향이 제거된 조건에서 단순한 CNN 기반 아키텍처가 복잡한 GNN 기반 모델보다 우수한 성능을 낼 수 있는가?
• RQ4 통합된 스코어링 메커니즘이 애너테이션 빈도에 관계없이 관계를 공정하게 순위 매길 수 있는가?
• RQ5 사전 인덕티브 바이어스 없이 모델이 비대칭성, 대칭성, 역전치성과 같은 복잡한 의미적 성질을 얼마나 잘 포착할 수 있는가?

주요 결과

• RiFa는 Visual Genome의 50개의 가장 빈번한 관계에서 평균 per-relation R@100이 48.86%를 기록하여 Pixel2Graph(41.61%)와 MotifNet(37.79%)를 크게 앞서며 최고 성능을 달성한다.
• 전체 애너테이션의 0.5% 미만이 포함된 관계에서는 RiFa가 상위 15개 관계의 40%를 정확히 예측하여 희귀 관계에 대한 공정성과 일반화 능력이 뛰어나다는 것을 보여준다.
• '착용'에 대해 96.78%의 R@100, '타고'에 대해 92.75%의 R@100을 기록하여 강한 의미적 비대칭성을 잘 포착함을 입증한다.
• 모델은 '근처에 있다'와 같은 대칭 관계를 양방향에서 모두 올바르게 식별(예: (A, near, B) 및 (B, near, A))하고, (has, part of)와 같은 역관계 쌍도 정확히 식별함으로써 의미적 인식 능력을 보여준다.
• Pixel2Graph가 본질적으로 대칭 관계에 편향을 지닌다는 점을 감안할 때, RiFa는 비대칭성과 역관계를 더 잘 포착함을 입증한다.
• 희귀 관계인 '걷고 있다'와 '지니고 있다'와 같은 관계도 최소한의 애너테이션으로도 정확히 예측하는 질적 예시를 통해 모델의 강력한 성능을 입증한다.