[논문 리뷰] Knowledge-Embedded Routing Network for Scene Graph Generation

Tianshui Chen, Weihao Yu외 2명|arXiv (Cornell University)|2019. 03. 08.

Multimodal Machine Learning Applications참고 문헌 33인용 수 45

한 줄 요약

논문은 지식-내장 라우팅 네트워크(KERN)를 도입하여 통계적 객체-쌍과 관계 지식을 구조화된 그래프에 명시적으로 인코딩해 장면 그래프 예측을 규제하고, 특히 Visual Genome에서 희귀 관계에 대해 기존 방법보다 성능이 더 우수하게 나타난다.

ABSTRACT

To understand a scene in depth not only involves locating/recognizing individual objects, but also requires to infer the relationships and interactions among them. However, since the distribution of real-world relationships is seriously unbalanced, existing methods perform quite poorly for the less frequent relationships. In this work, we find that the statistical correlations between object pairs and their relationships can effectively regularize semantic space and make prediction less ambiguous, and thus well address the unbalanced distribution issue. To achieve this, we incorporate these statistical correlations into deep neural networks to facilitate scene graph generation by developing a Knowledge-Embedded Routing Network. More specifically, we show that the statistical correlations between objects appearing in images and their relationships, can be explicitly represented by a structured knowledge graph, and a routing mechanism is learned to propagate messages through the graph to explore their interactions. Extensive experiments on the large-scale Visual Genome dataset demonstrate the superiority of the proposed method over current state-of-the-art competitors.

연구 동기 및 목표

• SG생성에서의 롱테일 문제를 객체 동시 발생의 사전 통계 지식과 그 관계를 활용하여 해결한다.
• 통계적 상관관계를 구조화된 그래프로 표현하고 이를 그래프 신경망에 통합하여 관계 예측의 의미 공간을 조절한다.
• 상대 객체와 관계의 상호 작용을 전용 라우팅 네트워크로 모델링하여 SGGen, SGCls, PredCls 작업 전반의 예측 정확도를 향상시킨다.
• Visual Genome 데이터셋에서 평가하고 최신 방법과 비교하여 평균 재현율(mR@K)과 재현율(R@K)의 향상을 강조한다.

제안 방법

• Faster R-CNN으로 객체 영역을 검출하여 후보 상자와 특징을 얻는다.
• 객체 동시 발생 통계를 이용해 지역 그래프를 구성하고 게이트 업데이트가 있는 그래프 뉴럴 네트워크를 통해 맥락화된 객체 라벨을 학습한다.
• 각 객체 쌍에 대해 K개의 관계 노드를 갖는 관계 그래프를 구축하고 동시 발생 확률을 나타내는 노드를 통해 메시지를 전파하여 관계를 예측한다.
• 객체 쌍과 잠재 관계 간의 상호 작용을 모델링하는 두 번째 그래프 뉴럴 네트워크를 사용하고 최종 관계 라벨을 출력한다.
• 사전 통계 m_cc', m_cc'k를 그래프에 임베딩하여 의미 공간을 명시적으로 규제하고, 보완 메트릭으로 mR@K와 R@K를 사용해 평가한다.

실험 결과

연구 질문

• RQ1 명시적이고 통계 기반의 지식 그래프가 의미 공간을 규제하여 특히 덜 빈번한 관계의 관계 예측을 향상시킬 수 있는가?
• RQ2 지식 내장 라우팅과 그래프 전파를 통합하면 SGGen, SGCls, PredCls에서 Visual Genome의 기존 방법을 능가하는가?
• RQ3 지식 그래프 구성 요소가 전체 성능과 롱테일 분포에 대한 강건성에 어떤 영향을 미치는가?
• RQ4 mR@K와 R@K 지표가 빈번한 관계와 희귀한 관계 모두에 대한 향상을 어떻게 반영하는가?

주요 결과

• 제안된 KERN 프레임워크는 기존 방법과 비교해 우수한 mR@K 점수를 얻으며, 평균 mR@50/100이 9.0%에서 11.7%로 향상되고, ablation에서 더 큰 향상이 나타난다.
• R@K 지표에서 KERN은 제약된 설정하에 평균 R@50/100가 44.1%/55.4%로 최첨단 재현율을 달성하고 SMN보다 소폭 상회한다.
• 통계적 상관관계를 균일 분포로 대체한 경우 성능이 저하되는 것으로 나타나(평균 mR 11.7%에서 7.9%로, 평균 R 44.1%에서 40.6%로 감소), 명시적 지식 통합의 중요성을 확인한다.
• KERN은 희귀/그다수의 관계에서 더 큰 이득을 보이며 Vision Genome에 내재된 롱테일 분포 문제를 해결한다.