[논문 리뷰] Scene Graph Parsing by Attention Graph

Martin Andrews, Yew Ken Chia외 1명|arXiv (Cornell University)|2019. 09. 13.

Multimodal Machine Learning Applications참고 문헌 26인용 수 8

한 줄 요약

이 논문은 사전에 훈련된 Transformer의 자기주의성 주의층을 활용하여 자연어 기술서에서 장면 그래프 구조를 직접 예측할 수 있는 엔드 투 엔드 학습 가능한 '주의 그래프(Attention Graph)' 메커니즘을 제안한다. 노드 유형과 부모 간선을 동시에 분류함으로써, Visual Genome 데이터셋에서 기존 방법보다 2.5% 높은 52.21%의 SPICE F-스코어를 달성한다.

ABSTRACT

Scene graph representations, which form a graph of visual object nodes together with their attributes and relations, have proved useful across a variety of vision and language applications. Recent work in the area has used Natural Language Processing dependency tree methods to automatically build scene graphs. In this work, we present an 'Attention Graph' mechanism that can be trained end-to-end, and produces a scene graph structure that can be lifted directly from the top layer of a standard Transformer model. The scene graphs generated by our model achieve an F-score similarity of 52.21% to ground-truth graphs on the evaluation set using the SPICE metric, surpassing the best previous approaches by 2.5%.

연구 동기 및 목표

• 사전에 훈련된 Transformer의 주의 메커니즘을 직접 활용하여 엔드 투 엔드 학습이 가능한 장면 그래프 구문 분석 모델을 개발하는 것.
• 순차적이고 전이 기반의 구문 분석 방법의 한계를 해결하기 위해, 통합적이고 병렬적인 그래프 구조 예측을 가능하게 하는 것.
• 새로운 주의 기반 그래프 구축 메커니즘을 사용하여 Visual Genome 데이터셋에서 장면 그래프 구문 분석 성능을 향상시키는 것.
• 주의 헤드를 사용하여 노드 간 연결성과 유형 분류를 구조적이고 미분 가능한 방식으로 암묵적으로 모델링할 수 있는지 조사하는 것.

제안 방법

• 영역 기술서와 해당 장면 그래프에 대해 사전에 훈련된 OpenAI Transformer 모델(12층, 768차원 은닉 상태)을 미세조정한다.
• 각 단어 토큰에 대해 노드 유형(예: SUBJ, PRED, OBJT, ATTR, same, none)과 부모 노드 인덱스를 동시에 예측하는 고유한 '주의 그래프(Attention Graph)' 레이어를 도입한다.
• 노드 유형 분류와 부모 간선 예측을 위한 두 개의 교차 엔트로피 손실의 가중합을 사용하여 주의 그래프 레이어를 훈련한다.
• 모든 토큰을 동시에 고려할 수 있도록 Transformer에서 마스크된 자기주의성 주의를 사용하여, 순차적 전이 대신 병렬적인 그래프 구조 예측을 가능하게 한다.
• 모든 가능한 부모 노드에 대한 미분 가능한 소프트맥스를 사용하여 부모 간선에 대해 소프트 레이블을 적용하며, 'none'은 간선이 없음을 의미한다.
• 노드 유형과 간선 방향을 표현하기 위해 CONLL 파일 형식을 활용하여 모델의 구조적 출력을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사전에 훈련된 Transformer의 자기주의성 주의 메커니즘이 엔드 투 엔드 방식으로 구조적인 장면 그래프 구성요소(객체, 속성, 관계)를 직접 예측하는 데 적합한가?
• RQ2 병렬적이고 주의 기반의 그래프 구축 방법이 장면 그래프 구문 분석 작업에서 순차적이고 전이 기반의 구문 분석 방법보다 우월한가?
• RQ3 자연어 기술서를 기반으로 훈련된 모델이 Visual Genome 데이터셋의 참값 애너테이션과 얼마나 잘 일치하는 장면 그래프를 생성할 수 있는가?
• RQ4 제안된 주의 그래프 모델의 성능은 최신 기술 대비 어떻게 평가되는가, 특히 SPICE F-스코어 측면에서?
• RQ5 Visual Genome 데이터셋 자체가 지닌 한계는 무엇이며, 이러한 한계가 모델 성능의 상한선에 어떤 영향을 미치는가?

주요 결과

• 제안된 주의 그래프 모델은 Visual Genome 검증 세트에서 SPICE F-스코어 52.21%를 달성하여 이전 최고 성능 방법보다 2.5% 향상되었다.
• 모델는 더 약한 오라클 베이스라인을 사용해도 이전 방법들을 능가함을 보이며, 주의 기반 아키텍처가 구조적 의존성을 더 효과적으로 포착할 수 있음을 시사한다.
• 훈련에 사용된 오라클 시스템은 유용한 단어에 국한되었을 때 더 높은 F-스코어(66.30%)를 기록함을 시사하며, 데이터셋의 애너테이션 품질이 모델 성능을 제약할 수 있음을 나타낸다.
• 오라클의 높은 성능에도 불구하고, 모델는 여전히 향상 여지가 크며, 이는 관계 누락이나 부적절한 속성 애너테이션 등의 데이터 품질 문제로 인해 성능 상한선이 제약받고 있음을 시사한다.
• 주의 메커니즘이 순차적 의존성 문제를 애초에 피할 수 있는 직접적이고 병렬적인 그래프 구조 예측을 가능하게 한다.
• 저자들은 모델 성능이 아키텍처의 한계가 아니라, 설명에 관계가 누락되거나 속성이 과다 애너테이션된 등의 Visual Genome 데이터셋 내부의 일관성 문제로 인해 제한된다는 점을 관찰한다.