[논문 리뷰] On Analyzing the Role of Image for Visual-enhanced Relation Extraction

Lei Li, Xiang Chen외 4명|arXiv (Cornell University)|2022. 11. 14.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 트랜스포머 기반 듀얼 스트림 아키텍처를 통해 암묵적이고 미세한 다중모달 정렬을 구현하는 IFAformer를 제안한다. 이는 원본 이미지와 검출된 시각적 객체, 텍스트를 함께 활용하여 MNRE에서 92.38%의 정확도와 81.67%의 F1 점수를 기록하며, MEGA와 같은 최신 기술(SOTA)을 크게 능가한다. 이는 시각 정보가 적절히 정렬되지 않으면 효과적으로 활용되지 않음을 시사한다.

ABSTRACT

Multimodal relation extraction is an essential task for knowledge graph construction. In this paper, we take an in-depth empirical analysis that indicates the inaccurate information in the visual scene graph leads to poor modal alignment weights, further degrading performance. Moreover, the visual shuffle experiments illustrate that the current approaches may not take full advantage of visual information. Based on the above observation, we further propose a strong baseline with an implicit fine-grained multimodal alignment based on Transformer for multimodal relation extraction. Experimental results demonstrate the better performance of our method. Codes are available at https://github.com/zjunlp/DeepKE/tree/main/example/re/multimodal.

연구 동기 및 목표

• 현재 시각 강화 관계 추출(MRE) 방법이 정확한 시각 정보를 효과적으로 활용하는 데에 한계를 보이는지 조사하기 위해
• 정확하지 않은 시각적 시나리오 그래프와 굵은 정렬이 모델 성능을 떨어뜨리는 원인임을 규명하기 위해
• 암묵적이고 미세한 교차모달 어텐션을 통해 다중모달 정렬을 향상시키는 강력한 베이스라인 IFAformer를 제안하기 위해
• 시각 정보가 올바르게 텍스트 엔티티와 정렬되어야만 유용한지 검증하기 위해

제안 방법

• 원본 이미지와 텍스트를 별도로 처리하기 위해 듀얼 스트림 트랜스포머 인코더를 사용하며, 시각적 특징은 객체 검출 및 시각적 기반 기반으로 유도된다.
• 각 레이어에서 시각적 및 텍스트적 표현 간의 교차 어텐션을 통해 암묵적이고 미세한 정렬을 가능하게 하기 위해 다중 헤드 어텐션을 적용한다.
• 학습 가능한 투영 행렬을 사용해 텍스트 및 시각 인코더의 은닉 상태를 쿼리, 키, 밸류 벡터로 변환한다.
• 교차 어텐션을 수행하여 시각적 쿼리가 시각적 키와 밸류, 그리고 텍스트 키와 밸류에 모두 주목하고, 반대로 텍스트 쿼리도 마찬가지로 주목함으로써 공동 표현 학습을 가능하게 한다.
• 관계 분류를 위해 최종 텍스트 표현을 사용하며, 엔드 투 엔드 학습을 수행한다.
• 정렬 정밀도 향상을 위해 추가 입력으로 미세한 수준의 시각적 객체를 통합한다.

실험 결과

연구 질문

• RQ1 왜 시각 입력을 사용함에도 불구하고 현재 MRE 성능이 정체되는가?
• RQ2 정확하지 않은 시각적 시나리오 그래프가 효과적인 시각-텍스트 정렬을 방해하는 정도는 어느 정도인가?
• RQ3 명시적인 시나리오 그래프 의존성을 피할 경우 모델이 더 나은 성능을 낼 수 있는가?
• RQ4 미세한 수준의 시각적 객체 검출은 MRE 성능 향상에 얼마나 중요한가?
• RQ5 모델은 진정으로 시각 정보에 의존하는가, 아니면 비의도적인 상관관계를 학습하고 있는가?

주요 결과

• MEGA 모델은 이미지-텍스트 쌍이 뒤섞여도 안정적인 성능을 유지하며, 이는 시각적 가이던스를 효과적으로 활용하지 못할 수 있음을 시사한다.
• 시각적 시나리오 그래프에는 오해의 소지가 있거나 중복된 객체(예: '남자', '셔츠', '와이어')가 자주 포함되어 있어 잘못된 정렬 가중치를 초래한다.
• IFAformer는 MNRE에서 92.38%의 정확도와 81.67%의 F1 점수를 기록하며, MEGA보다 F1 점수에서 15.26% 높은 성능을 보였다.
• 학습 중에 이미지-텍스트 쌍을 뒤섞었을 경우 IFAformer의 성능은 74.23%의 정확도로 떨어지며, 이는 정확한 시각 입력에 의존하고 있음을 확인한다.
• 시각 인코더에서 텍스트 어텐션을 제거하면 성능이 떨어지며, 이는 다중모달 융합이 필수적임을 보여준다.
• 기본 IFAformer 대비 미세한 시각적 객체를 통합하면 성능이 4.63% 향상되며, 이는 그 중요성을 강조한다.