[논문 리뷰] Scene Graph Parsing as Dependency Parsing

Yu-Siang Wang, Chenxi Liu외 2명|arXiv (Cornell University)|2018. 03. 25.

Multimodal Machine Learning Applications참고 문헌 43인용 수 7

한 줄 요약

이 논문은 시나리오 그래프를 간선 중심의 의존 구조로 재해석함으로써, 종단 간(end-to-end) 신경 의존 파서를 제안한다. 객체, 속성, 관계에 초점을 맞춘 레이블 및 액션 공간을 재설계함으로써, 기존의 이단계 파이프라인보다 우수한 성능을 기록하여 시나리오 그래프 파싱에서 49.67%의 F-스코어를 달성하였으며, 이는 이전 최고 성능보다 5% 높은 성능이다. 또한 이미지 검색 작업에서도 향상된 성능을 보였다.

ABSTRACT

In this paper, we study the problem of parsing structured knowledge graphs from textual descriptions. In particular, we consider the scene graph representation that considers objects together with their attributes and relations: this representation has been proved useful across a variety of vision and language applications. We begin by introducing an alternative but equivalent edge-centric view of scene graphs that connect to dependency parses. Together with a careful redesign of label and action space, we combine the two-stage pipeline used in prior work (generic dependency parsing followed by simple post-processing) into one, enabling end-to-end training. The scene graphs generated by our learned neural dependency parser achieve an F-score similarity of 49.67% to ground truth graphs on our evaluation set, surpassing best previous approaches by 5%. We further demonstrate the effectiveness of our learned parser on image retrieval applications.

연구 동기 및 목표

• 일반적인 의존 파싱 이후 히우리스틱 또는 단순 분류기 후처리에 의존하는 기존의 이단계 시나리오 그래프 파이프라인의 한계를 해결하기 위해.
• 의존 파싱 구조와 자연스럽게 일치하는 간선 중심의 시나리오 그래프 정의를 통해 해석 가능성과 성능을 향상시키기 위해.
• 사전에 학습된 언어적 의존 파서에 의존하는 것을 제거하고, 시각-언어적 시나리오 그래프 데이터에 직접 맞춤형 신경 의존 파서를 훈련시키기 위해.
• F-스코어 외에도 이미지 검색과 같은 후행 비전 작업에서의 성능을 평가하기 위해.
• 밀도 있는 벡터 임베딩보다 더 강건하고 의미적으로 더 풍부한 표현으로서 이미지 기반 시나리오 그래프의 잠재력을 탐색하기 위해.

제안 방법

• 노드가 아니라 간선이 관계(객체, 속성, 관계)를 나타내는 간선 중심의 의존 구조로 시나리오 그래프를 재구성한다.
• 표준 의존 파싱에서 유래한 여분의 언어학적 레이블을 제거하기 위해, 레이블 공간을 객체, 속성, 관계의 세 가지 유형으로만 재설계한다.
• 기능어를 생략하고 의미적 내용에 집중할 수 있도록, 머리가 연결되지 않은 노드를 허용하는 액션 공간을 수정한다.
• BIST 프레임워크(Kiperwasser와 Goldberg, 2016)를 사용하여 단일 종단 간 신경 의존 파서를 훈련시키며, 단어-노드 매핑이 정렬된 Visual Genome 데이터셋에 맞춤형으로 미세조정한다.
• 중간 의존 트리 없이, 금본 시나리오 그래프 애너테이션을 사용하여 감독 학습 설정을 적용하여, 시나리오 그래프 구조에 직접 파서를 훈련시킨다.
• 파싱된 시나리오 그래프를 쿼리 표현으로 간주하고, Recall@5, Recall@10, 중앙 순위(median rank)를 측정하여 이미지 검색에 파서를 적용한다.

실험 결과

연구 질문

• RQ1 시나리오 그래프를 간선 중심의 시각으로 재해석함으로써, 의존 파싱과 통합된 시나리오 그래프 파싱이 가능한가?
• RQ2 레이블 및 액션 공간을 축소한 맞춤형 의존 파서가 일반적인 의존 파싱과 후처리를 조합한 이단계 파이프라인을 능가하는가?
• RQ3 언어 트리뱅크에서 지식을 전이하는 것보다, 시각-언어적 데이터에 직접 종단 간 훈련을 수행하는 것이 시나리오 그래프 파싱 정확도를 향상시키는가?
• RQ4 학습된 파서가 이미지 검색과 같은 후행 비전 작업으로 일반화되는 정도는 어느 정도인가?
• RQ5 문장-그래프 정렬의 품질이 최종 파싱 성능과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 종단 간 신경 의존 파서는 시나리오 그래프 파싱 작업에서 49.67%의 F-스코어를 달성하였으며, 이는 이전 최고 성능보다 5% 높은 성능이다.
• 이미지 검색에서 스탠포드 시나리오 그래프 파서를 능가하여 Recall@5, Recall@10, 중앙 순위 모두 높은 성능을 기록하였으며, 이는 비전 응용 분야로의 일반화 능력 향상을 시사한다.
• 정렬된 훈련 그래프에서 올리기(F-score) 69.85%는 더 나은 정렬 또는 모델 아키텍처를 통해 향상 가능함을 시사한다.
• 제거 실험(ablation studies)는 CONT 화살표의 방향과 같은 설계 선택에 대해 파서 성능가 안정적임을 확인하였다.
• 모델 성능 향상 요인은 별도의 후처리 단계에 의존하는 것이 아니라, 파싱과 시나리오 그래프 구조의 공동 최적화에 기인한다.
• Johnson 등(2015)이 제안한 것처럼 속성과 관계를 고려하지 않고 시각 영역에 시나리오 그래프를 기반으로 하는 것은 최적의 방법이 아니며, 파싱 품질이 검색 성능에 상당한 영향을 미친다.