[논문 리뷰] Enhancing Multi-modal and Multi-hop Question Answering via Structured Knowledge and Unified Retrieval-Generation

Qian Yang, Qian Chen외 3명|arXiv (Cornell University)|2022. 12. 16.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 엔터티 중심 지식 융합과 통합 검색-생성 디코더를 통해 검색과 생성을 향상시키는 통합 프레임워크인 SKURG를 제안한다. 다이나믹하게 구성된 지식 그래프를 통해 다중 모odal 입력을 정렬하고, 적응형으로 상호의존적인 검색과 답변 생성을 가능하게 함으로써, 더 적은 파라미터로 MultimodalQA와 WebQA에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Multi-modal multi-hop question answering involves answering a question by reasoning over multiple input sources from different modalities. Existing methods often retrieve evidences separately and then use a language model to generate an answer based on the retrieved evidences, and thus do not adequately connect candidates and are unable to model the interdependent relations during retrieval. Moreover, the pipelined approaches of retrieval and generation might result in poor generation performance when retrieval performance is low. To address these issues, we propose a Structured Knowledge and Unified Retrieval-Generation (SKURG) approach. SKURG employs an Entity-centered Fusion Encoder to align sources from different modalities using shared entities. It then uses a unified Retrieval-Generation Decoder to integrate intermediate retrieval results for answer generation and also adaptively determine the number of retrieval steps. Extensive experiments on two representative multi-modal multi-hop QA datasets MultimodalQA and WebQA demonstrate that SKURG outperforms the state-of-the-art models in both source retrieval and answer generation performance with fewer parameters. Our code is available at https://github.com/HITsz-TMG/SKURG.

연구 동기 및 목표

• 기존의 다중 모달 다단계 QA 시스템이 검색 단계에서 다중 모달 간 관계를 모델링하는 데에 한계를 가진다는 문제를 해결하기 위해.
• 파이프라인 검색-생성 아키텍처에서 오류 전파와 고정된 검색 단계 수의 문제를 극복하기 위해.
• 공유 엔터티 표현을 활용하는 단일이고 적응형 과정으로 증거 검색과 답변 생성을 통합하기 위해.
• 외부 지식에 의존하지 않고 입력 데이터에서 직접 지식 그래프를 구성함으로써 다중 모달 자료에 대한 추론을 향상시키기 위해.
• 시각적 및 텍스처적 증거를 통합이 필요한 복잡한 다단계 질문에 대한 성능을 향상시키기 위해.

제안 방법

• 엔터티 중심 융합 인코더( EF-Enc)는 명명된 엔터티 인식과 관계 추출을 사용하여 입력 자료에서 지식 그래프를 구성하며, 다양한 모odal 간 엔터티를 정렬한다.
• EF-Enc는 엔터티를 그들의 소스 모달리티(예: 이미지, 텍스트)에 연결함으로써 다중 모달 입력을 공유된 의미 공간으로 융합한다.
• 통합 검색-생성 디코더(RG-Dec)는 포인터 메커니즘을 사용하여 관련 증거를 검색하고, 종단 간 상호의존적으로 답변을 생성한다.
• RG-Dec는 소스 표현과 융합된 엔터티 임베딩을 모두 참조하여 검색 단계의 수를 적응적으로 결정한다.
• 모델은 검색과 생성을 동시에 최적화하여, 공유된 어텐션을 통해 답변 생성이 증거 검색을 이끄는 방식으로 작용한다.
• 검색과 생성에 공유된 파라미터를 사용하는 시퀀스-투-시퀀스 트랜스포머 기반 아키텍처를 사용함으로써 파라미터 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 분리된 검색 및 생성 단계에서 오는 오류 전파를 줄이기 위해 통합 검색-생성 아키텍처가 다중 모달 다단계 QA 성능을 향상시킬 수 있는가?
• RQ2 엔터티 중심 지식 융합은 다단계 QA에서 다중 모달 정렬과 추론을 어떻게 향상시키는가?
• RQ3 고정된 힙 수 검색 대비 적응형 동적 검색이 다중 모달 환경에서 성능 향상에 얼마나 기여하는가?
• RQ4 검색과 생성을 종단 간 공동 최적화하는 것이 파이프라인 방식보다 더 나은 증거 검색과 답변 생성을 이끌 수 있는가?
• RQ5 다중 모달 QA에서 짧은 답변 vs. 긴 답변 생성 과제에서 모델의 성능은 어떻게 되는가?

주요 결과

• SKURG는 MultimodalQA와 WebQA 양쪽 모두에서 검색 F1과 답변 생성 성능에서 최신 기술 수준의 모델을 초월한다.
• MultimodalQA에서 SKURG는 베이스라인 대비 검색 F1에서 9.3점의 절대 향상과 답변 F1에서 3.5점의 절대 향상을 달성했다.
• WebQA에서 SKURG는 장문 답변(20단어 이상)의 경우 검색 F1에서 11.1점의 절대 향상을 기록하여 복잡한 질의에 대한 강력한 검색 능력을 보였다.
• 아블레이션 연구에서 실제 엔터티 정렬을 사용한 경우 예측된 엔터티 정렬을 사용한 경우보다 성능 향상이 있었으며, 정확한 엔터티 기반 정렬의 중요성을 확인했다.
• SKURG는 MultimodalQA에서 WebQA보다 더 큰 성능 향상을 보였는데, 이는 MultimodalQA가 다중 모달 추론에 더 의존하고 답변 스팩트럼이 짧기 때문일 것이다.
• 사례 연구를 통해 EF-Enc가 정확한 이미지-소스 정렬을 가능하게 했으며, RG-Dec가 동일하지 않은 증거(예: 이미지에서의 브랜드 앰배서더와 텍스트에서의 브랜드 앰배서더)를 의미적으로 연결된 방식으로 검색할 수 있음을 입증했다.