[논문 리뷰] Dual-Gated Fusion with Prefix-Tuning for Multi-Modal Relation Extraction

Qian Li, Shu Guo외 4명|arXiv (Cornell University)|2023. 06. 19.

Natural Language Processing TechniquesComputer Science인용 수 3

한 줄 요약

이 논문은 이중 게이트 퓨전과 프리픽스 튜닝을 활용하여 엔티티 쌍, 텍스트 및 시각적 입력 간의 미세한 상관관계를 포착하는 새로운 다중 모odal 관계 추출 프레임워크인 DGF-PT를 제안한다. 엔티티 중심 및 대상 중심 프리픽스를 사용하고 이중 게이트 퓨전 모듈을 적용함으로써, 모델은 유용한 시각적 신호를 효과적으로 식별하고 통합하면서도 잡음이나 오도되는 정보를 걸러내며, 특히 소수의 샘플이 있는 설정에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multi-Modal Relation Extraction (MMRE) aims at identifying the relation between two entities in texts that contain visual clues. Rich visual content is valuable for the MMRE task, but existing works cannot well model finer associations among different modalities, failing to capture the truly helpful visual information and thus limiting relation extraction performance. In this paper, we propose a novel MMRE framework to better capture the deeper correlations of text, entity pair, and image/objects, so as to mine more helpful information for the task, termed as DGF-PT. We first propose a prompt-based autoregressive encoder, which builds the associations of intra-modal and inter-modal features related to the task, respectively by entity-oriented and object-oriented prefixes. To better integrate helpful visual information, we design a dual-gated fusion module to distinguish the importance of image/objects and further enrich text representations. In addition, a generative decoder is introduced with entity type restriction on relations, better filtering out candidates. Extensive experiments conducted on the benchmark dataset show that our approach achieves excellent performance compared to strong competitors, even in the few-shot situation.

연구 동기 및 목표

• 다중 모달 관계 추출(MMRE)에서 잡음이 많거나 도움이 되지 않는 시각적 입력이 모델 성능을 떨어뜨리는 문제를 해결하기 위해.
• 엔티티 쌍, 텍스트 및 시각적 객체 간의 더 미세한 연관성을 모델링하여 관계 예측을 향상시키기 위해.
• 도움이 되는 시각적 콘텐츠와 관련 없거나 오도되는 시각적 신호를 효과적으로 구분하는 방법을 개발하기 위해.
• 프롬프트 기반 학습과 구조적 퓨전을 활용하여 자원이 제한된(소수의 샘플) 설정에서 성능을 향상시키기 위해.
• 엔티티 유형 제약 조건을 사용하여 관계 후보 생성을 제한함으로써 필터링과 정확도를 향상시키기 위해.

제안 방법

• 엔티티 간 내모달 및 이모달 연관성을 모델링하기 위해 엔티티 중심 및 대상 중심 프리픽스를 갖는 프롬프트 기반 자동회귀 인코더를 도입한다.
• 지역적 객체 중요도 게이트와 전역적 이미지 관련성 게이트를 갖춘 이중 게이트 퓨전 모듈을 사용하여, 관련성이 높은 시각적 특징을 동적으로 가중하고 통합한다.
• 엔티티 유형 정보를 사용하여 관계 후보를 제한함으로써 예측 정밀도를 향상시키는 생성형 디코더를 설계한다.
• 융합 이전 및 이후의 표현 분포를 정렬하기 위한 공동 목표를 적용하여 특징 일관성과 모델의 강건성을 향상시킨다.
• 완전한 미세조정 없이도 대규모 언어 모델을 효율적으로 적응시킬 수 있도록 프리픽스 튜닝을 활용하여 소수의 샘플 일반화를 지원한다.
• 작업 인식적인 방식으로 객체 검출 및 이미지 특징에서 유래한 시각적 관계 정보를 활용하여 텍스트 표현을 풍부하게 한다.

실험 결과

연구 질문

• RQ1 다중 모달 관계 추출에서 엔티티 쌍, 텍스트 및 시각적 객체 간의 더 깊은 상관관계를 어떻게 효과적으로 모델링할 수 있는가?
• RQ2 이중 게이트 퓨전 메커니즘이 도움이 되는 시각적 특징을 선택하고 도움이 되지 않거나 오도되는 특징을 억제하는 데 기여하는가?
• RQ3 프리픽스 튜닝이 자원이 제한된(소수의 샘플) 관계 추출 설정에서 성능 향상에 어느 정도 기여하는가?
• RQ4 엔티티 유형 인식 디코딩은 어떻게 관계 후보 필터링과 예측 정확도를 향상시키는가?
• RQ5 프리픽스 튜닝을 통한 내모달 및 이모달 연관성 통합이 MMRE에서 더 나은 일반화와 강건성을 이끌 수 있는가?

주요 결과

• DGF-PT는 기준 MNRE 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 전체 샘플 및 소수 샘플 설정 모두에서 강력한 베이스라인을 능가한다.
• 모델은 자원이 제한된 상황에서도 뛰어난 일반화 능력을 보이며, 샘플 수가 감소할수록 일관된 성능 향상을 보인다.
• 이중 게이트 퓨전 메커니즘이 도움이 되지 않는 시각적 콘텐츠를 효과적으로 걸러내어 잡음이 많은 이미지가 예측에 악영향을 미치는 것을 줄인다.
• 사례 연구 결과, 동일한 이미지를 다양한 엔티티 쌍과 함께 사용할 때 DGF-PT가 관련 있는 시각적 신호를 정확히 식별하는 것으로 확인되었다.
• 엔티티 유형 제한 디코딩을 사용함으로써 후보 필터링이 크게 향상되어 모호한 관계에 대한 잘못된 예측을 줄였다.
• 모델의 성능은 증가하는 시각적 데이터에 따라 향상되며, 이는 프리픽스 기반 베이스라인 대비 시각적 특징을 효과적으로 활용하고 있음을 시사한다.