[논문 리뷰] Relationformer: A Unified Framework for Image-to-Graph Generation

Suprosanna Shit, Rajat Koner외 9명|Zurich Open Repository and Archive (University of Zurich)|2022. 03. 19.

Multimodal Machine Learning Applications인용 수 4

한 줄 요약

Relationformer는 종단간 이미지에서 그래프로의 생성을 위한 통합형 단계별 트랜스포머 기반 프레임워크를 제안하며, 개체-관계 상호작용을 동시에 모델링하기 위해 학습 가능한 [rln]-토큰을 도입한다. [obj]-토큰과 [rln]-토큰을 동시에 통합하여 개체 검출과 관계 예측을 수행함으로써, 도로 네트워크, 혈관, 시각적 그래프 등 다양한 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 이중 단계 기반 모델 대비 정확도, 속도, 파라미터 효율성에서 향상된 성능을 보인다.

ABSTRACT

A comprehensive representation of an image requires understanding objects and their mutual relationship, especially in image-to-graph generation, e.g., road network extraction, blood-vessel network extraction, or scene graph generation. Traditionally, image-to-graph generation is addressed with a two-stage approach consisting of object detection followed by a separate relation prediction, which prevents simultaneous object-relation interaction. This work proposes a unified one-stage transformer-based framework, namely Relationformer, that jointly predicts objects and their relations. We leverage direct set-based object prediction and incorporate the interaction among the objects to learn an object-relation representation jointly. In addition to existing [obj]-tokens, we propose a novel learnable token, namely [rln]-token. Together with [obj]-tokens, [rln]-token exploits local and global semantic reasoning in an image through a series of mutual associations. In combination with the pair-wise [obj]-token, the [rln]-token contributes to a computationally efficient relation prediction. We achieve state-of-the-art performance on multiple, diverse and multi-domain datasets that demonstrate our approach's effectiveness and generalizability.

연구 동기 및 목표

• 이중 단계 기반 이미지에서 그래프로의 생성 파이프라인에서 발생하는 개체 검출과 관계 예측을 분리함으로써 발생하는 오류 전파 및 비효율성 문제를 해결하기 위해.
• 모델 내에서 개체와 그 관계를 동시에 종단간(end-to-end)으로 학습시켜 상호 맥락과 공존 관계를 활용해 더 나은 추론을 가능하게 하기 위해.
• 개체 간 상호의존성을 포괄하고 관계 예측을 위한 글로벌 의미적 인식 능력을 향상시키기 위해 새로운 학습 가능한 [rln]-토큰을 도입하기 위해.
• 수작업으로 설계된 특징 및 다단계 모듈을 제거하여 학습 및 추론 파이프라인을 단순화함으로써 효율성과 확장성을 향상시키기 위해.
• 2D/3D 구조적 그래프 및 의미적 시각적 그래프를 포함한 다양한 분야에서 일반화 능력과 효과성을 입증하기 위해.

제안 방법

• DETR 기반의 통합형 단계별 트랜스포머 아키텍처를 제안하며, 개체 검출을 위해 학습 가능한 [obj]-토큰을 사용하고 관계 모델링을 위해 새로운 [rln]-토큰을 도입한다.
• [rln]-토큰을 개체 쌍에 대해 주목하는 학습 가능한 쿼리로 활용하여 멀티헤드 자기주목(attention)을 통해 글로벌 의미적 및 공간적 관계를 포착한다.
• [obj]-[rln]-[obj] 삼중조를 사용해 쌍별 관계를 예측함으로써 개체와 그 관계 간의 공동 표현 학습을 가능하게 한다.
• 비최대 억제(NMS) 없이도 종단간으로 개체 및 관계 출력을 예측하기 위해 이원 매칭(bipartite matching)을 사용하는 세트 기반 예측 헤드를 활용한다.
• [rln]-토큰과 [obj]-토큰 간의 멀티헤드 교차주목을 활용하여 모든 개체가 관계 인식 특징에 주목할 수 있도록 한다.
• 쿼리 무관 쿼리 기반 검출 헤드와 입력 이미지 맥락에 적응하는 학습 가능한 [rln]-토큰을 사용하여 종단간으로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 통합형 단계별 트랜스포머 프레임워크가 이미지에서 그래프로의 생성 과정에서 개체와 그 관계를 동시에 예측할 수 있으며, 이중 단계 기반 파이프라인을 능가할 수 있는가?
• RQ2 학습 가능한 [rln]-토큰의 도입이 개체 공존 및 상호의존성 모델링에 어떤 영향을 미치는가?
• RQ3 [rln]-토큰이 다양한 이미지에서 그래프로의 생성 작업에서 관계 예측 성능에 어떤 영향을 미치는가?
• RQ4 [rln]-토큰이 기존의 이중 단계 또는 특징 기반 접근 방식 대비 더 나은 일반화 능력과 효율성을 제공하는가?
• RQ5 훈련 데이터 크기가 종단간 그래프 생성에서 [rln]-토큰의 성능에 어떤 영향을 미치는가?

주요 결과

• Relationformer는 도로 네트워크, 혈관, 시각적 그래프 생성 벤치마크에서 최신 기술 수준(SOTA)의 성능을 달성하며, 기존의 이중 단계 기반 방법을 능가한다.
• Visual Genome 데이터셋에서 [rln]-토큰과 MLP 헤드를 사용한 Relationformer는 mAP@100이 31.3%로, [rln]-토큰이 없는 베이스라인 대비 2.9% 향상되었다.
• 3D 합성 혈관 그래프 생성에서 [rln]-토큰과 100% 훈련 데이터를 사용한 Relationformer는 엣지 검출에 대해 mAR 84.3%를 기록했으며, def-DETR 베이스라인 대비 1.8% 향상되었다.
• 절단 분석(ablation) 결과, [rln]-토큰은 특히 MLP 헤드와 조합했을 때 관계 예측 성능을 크게 향상시키며, 이는 복잡한 의미적 관계를 모델링하는 데서의 역할을 시사한다.
• 모델는 강력한 일반화 능력을 보이며, 훈련 데이터 크기가 증가할수록 성능이 지속적으로 향상되어 더 많은 데이터에서의 확장성 잠재력을 보여준다.
• 이중 단계 기반 파이프라인 대비 모델 복잡도와 추론 시간을 감소시키며, 더 적은 파라미터와 에너지 소비로도 운영된다.