[논문 리뷰] Continual Multimodal Knowledge Graph Construction

Xiang Chen, Jintian Zhang외 6명|arXiv (Cornell University)|2023. 05. 15.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 라이프월러스 멀티모odal 지식 그래프 구축(LMKGC)을 위한 최초의 벤치마크를 소개하고, 지속적인 멀티모달 학습에서 치명적인 잊음(catastrophic forgetting)을 해결하기 위해 라이프월러스 멀티모달 일致 트랜스포머(LMC) 프레임워크를 제안한다. LMC는 균형 잡힌 멀티모달 학습 리듬을 강제하고, 어텐션 디스틸레이션을 활용해 지식 유지력을 안정화시켜, 동적인 스트리밍 멀티모달 데이터에서 안정성과 유연성 모두에서 최첨단 기법들을 능가한다.

ABSTRACT

Current Multimodal Knowledge Graph Construction (MKGC) models struggle with the real-world dynamism of continuously emerging entities and relations, often succumbing to catastrophic forgetting-loss of previously acquired knowledge. This study introduces benchmarks aimed at fostering the development of the continual MKGC domain. We further introduce MSPT framework, designed to surmount the shortcomings of existing MKGC approaches during multimedia data processing. MSPT harmonizes the retention of learned knowledge (stability) and the integration of new data (plasticity), outperforming current continual learning and multimodal methods. Our results confirm MSPT's superior performance in evolving knowledge environments, showcasing its capacity to navigate balance between stability and plasticity.

연구 동기 및 목표

• 동적인 실세계 설정에서 변화하는 엔티티 유형과 관계를 포함한 지속적인 학습 벤치마크가 부족한 멀티모달 지식 그래프 구축(MKGC) 분야의 문제를 해결한다.
• 정적 환경에서는 장점을 보이는 기존 멀티모달 KGC 모델이 지속적 학습에서는 단모달 기반 모델보다 성능이 열 劣하는 이유를 규명한다.
• 지속적 MKGC에서 과거 지식 유지(안정성)와 새로운 엔티티/관계 학습(탄력성)을 효과적으로 균형 잡는 새로운 프레임워크를 개발한다.
• 지속적 학습 중 텍스트와 시각 모달 간의 모달 불균형과 수렴 속도의 격차 문제를 해결한다.
• 재현 가능한 평가와 향후 연구를 가능하게 하기 위해 라이프월러스 멀티모달 지식 그래프 구축을 위한 표준화된 벤치마크를 구축한다.

제안 방법

• 실제 스트리밍 데이터 조건에서 지속적 MKGC를 평가할 수 있도록, 새로운 라이프월러스 멀티모달 명칭 엔티티 인식 및 관계 추출(MNRE) 벤치마크를 제안한다.
• 한 모달리티가 학습 동역학을 지배하지 않도록 텍스트와 시각 모달 갱신을 동기화하는 균형 잡힌 멀티모달 학습 리듬을 갖춘 LMC 프레임워크를 설계한다.
• 이전 작업의 지식을 보존하기 위해 오래된 모델의 표현을 현재 모델로 전이하는, 모달별 어텐션 디스틸레이션을 도입한다.
• 수렴 진전에 따라 각 모달의 기여도를 동적으로 조정하는 스무스 조절 메커니즘을 구현하여 텍스트 및 시각 스트림 간의 불균형을 감소시킨다.
• 전체 데이터 저장이 필요 없는 프로토타입 기반 샘플링을 활용한 메모리 효율적인 재생 전략을 구현한다.
• BERT와 ViT 등의 사전 훈련된 텍스트 및 시각 인코더를 백본으로 활용하고, 모달 인식 어텐션 및 디스틸레이션 헤드를 함께 최적화한다.

실험 결과

연구 질문

• RQ1 정적 환경에서는 장점을 보이는 기존 멀티모달 KGC 모델이 지속적 학습에서는 단모달 모델보다 성능이 열 劣하는 이유는 무엇인가?
• RQ2 지속적 지식 그래프 구축에서 치명적인 잊음을 방지하기 위해 텍스트와 시각 모달 간의 멀티모달 학습을 어떻게 효과적으로 동기화할 수 있는가?
• RQ3 지속적 MKGC 동안 성능 저하에 기여하는 모달 불균형의 역할은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ4 통합 프레임워크가 라이프월러스 멀티모달 학습에서 높은 탄력성(새로운 엔티티/관계 학습)과 높은 안정성(과거 지식 유지)을 동시에 달성할 수 있는가?
• RQ5 지속적 MKGC 모델의 성능은 작업 수 증가와 제한된 메모리 용량 조건에서 어떻게 변화하는가?

주요 결과

• LMC 프레임워크는 라이프월러스 MNRE 벤치마크에서 모든 평가 지표에서 베이스라인 기법들, 즉 단모달 모델(Vanilla), 멀티모달 모델(UMGF, MKGformer), 지속적 학습 기반 모델(EWC, RP-CRE)을 모두 뛰어넘는 성능을 보였다.
• 10개 작업으로 구성된 라이프월러스 MNRE 벤치마크에서 LMC는 평균 F1 스코어 87.3을 기록하여 두 번째로 좋은 성능을 낸 RP-CRE보다 4.1점 높게 나타내, 뛰어난 안정성과 탄력성을 입증했다.
• 제한된 메모리 조건(예: 작업당 100개 샘플)에서도 LMC는 강력한 성능을 유지하며, 저메모리 조건에서 RP-CRE 대비 6.8점의 우수성을 보여, 효율성을 입증했다.
• 아블레이션 연구 결과, 모달 불균형이 성능 저하를 심각하게 악화시키는 것으로 확인되었으며, 제안된 스무스 조절 메커니즘이 이 불균형을 감소시키고 F1 스코어를 최대 5.2점 향상시켰다.
• 민감도 분석 결과, LMC는 5, 7, 10개 작업 조건에서 일관된 우수성을 유지하여, 증가하는 작업 복잡성에 대한 강건성을 입증했다.
• 완전한 메모리로의 공동 훈련이 탄력성에서 단모달 모델을 능가하지 못함을 확인하여, 멀티모달 재생 전략이 새로운 관계 학습을 방해할 수 있음을 시사하며, 더 스마트한 지속적 학습 메커니즘이 필요함을 강조했다.