Skip to main content
누빈트
QUICK REVIEW

[논문 리뷰] DocumentCLIP: Linking Figures and Main Body Text in Reflowed Documents

Fuxiao Liu, Hao Tan|arXiv (Cornell University)|2023. 06. 09.
Multimodal Machine Learning Applications인용 수 5
한 줄 요약

DocumentCLIP는 뉴스 기사 및 위키백과 페이지와 같은 재형식화된 문서에서 이미지, 캡션, 장문의 텍스트 간 문장 수준의 다중모달 상호작용을 모델링하기 위해 색소 인식 대비 학습 프레임워크를 도입한다. 레이아웃 인식 섹션 임베딩, 실체 정렬, 하드 음성 샘플링을 통합함으로써, 지도 학습 및 제로샷 내문서 검색에서 최신 기술 수준의 성능을 달성하며, 인간 평가에서 평균 순위 0.75를 기록하여 CLIP 및 SBERT를 능가한다.

ABSTRACT

Vision-language pretraining models have achieved great success in supporting multimedia applications by understanding the alignments between images and text. While existing vision-language pretraining models primarily focus on understanding single image associated with a single piece of text, they often ignore the alignment at the intra-document level, consisting of multiple sentences with multiple images. In this work, we propose DocumentCLIP, a salience-aware contrastive learning framework to enforce vision-language pretraining models to comprehend the interaction between images and longer text within documents. Our model is beneficial for the real-world multimodal document understanding like news article, magazines, product descriptions, which contain linguistically and visually richer content. To the best of our knowledge, we are the first to explore multimodal intra-document links by contrastive learning. In addition, we collect a large Wikipedia dataset for pretraining, which provides various topics and structures. Experiments show DocumentCLIP not only outperforms the state-of-the-art baselines in the supervised setting, but also achieves the best zero-shot performance in the wild after human evaluation. Our code is available at https://github.com/FuxiaoLiu/DocumentCLIP.

연구 동기 및 목표

  • 뉴스 기사 및 위키백과 페이지와 같은 장문의 구조적 문서에서 내문서 이미지-텍스트 관계를 모델링하지 못하는 비전-언어 모델의 격차를 해소하기 위해.
  • 이미지, 캡션, 장문의 텍스트 섹션 간의 의미적, 구조적, 위치적 관계를 포착하여 다중모달 문서 이해를 향상시키기 위해.
  • 피팅 트레이닝 없이 다양한 문서 유형과 주제에 대해 강력한 제로샷 일반화를 가능하게 하기 위해.
  • 위키백과의 HTML 구조에서 유도된 약한 감독을 활용하여 문서 수준의 정렬을 학습하는 사전학습 프레임워크를 개발하기 위해.
  • 언어적으로 rich한 재형식화된 문서에서 모호하거나 다중 이미지-텍스트 대응 관계를 효과적으로 다룰 수 있는 방법을 설계하기 위해.

제안 방법

  • 문서의 구조와 콘텐츠 흐름을 모델링하기 위해 텍스트, 섹션 위치, 실체 임베딩의 세 가지 입력 임베딩을 사용하는 레이아웃 인식 트랜스포머 인코더를 사용한다.
  • 멀티모달 상호작용을 유지하기 위해 레이아웃 트랜스포머 이전에 CLIP의 비전 및 텍스트 인코더를 통해 이미지 및 캡션 특징을 조기에 융합한다.
  • 주요 문장 추출 모듈이 각 이미지/캡션 쌍에 대해 가장 관련성이 높은 문장을 식별하여 노이즈를 줄이고 정보성 있는 콘텐츠에 집중한다.
  • 정상 음성(기타 섹션)과 하드 음성(이미지/캡션 쌍을 뒤바꿔 놓은 경우)을 모두 사용하여, 이미지-캡션 쌍과 관련된 텍스트 섹션 간의 색소 인식 대비 손실을 최적화한다.
  • 약한 감독으로 자연스러운 섹션-이미지 연결을 가진 66,000개의 기사와 320,000개의 이미지-캡션 쌍을 포함한 대규모 위키백과 데이터셋에서 사전학습을 수행한다.
  • 실제 세계의 문서 컬렉션에서 지도 학습 및 제로샷 설정에서 검색을 위해 프레임워크를 피팅 트레이닝하고 평가한다.
Figure 1 : Illustration of our task. Given an article, our model extracts the most relevant text to the image/caption pair. (Left): The document is from our pretraining Wikipedia dataset , which has the section to image/caption pair links as the groundtruth label. We leverage this weak supervision t
Figure 1 : Illustration of our task. Given an article, our model extracts the most relevant text to the image/caption pair. (Left): The document is from our pretraining Wikipedia dataset , which has the section to image/caption pair links as the groundtruth label. We leverage this weak supervision t

실험 결과

연구 질문

  • RQ1복잡한 레이아웃과 다수의 이미지를 포함한 장문의 재형식화된 문서에서 비전-언어 모델이 문장 수준의 이미지-텍스트 정렬을 효과적으로 학습할 수 있는가?
  • RQ2레이아웃 및 섹션 위치 정보를 통합함으로써 표준 대비 학습과 비교해 다중모달 문서 이해는 어떻게 향상되는가?
  • RQ3위키백과에서 사전학습한 모델이 오픈 교과서와 같은 새로운 문서 유형에서 강력한 제로샷 성능을 달성할 수 있는가?
  • RQ4색소 인식 대비 학습은 내문서 검색에서 표준 대비 목표함수에 비해 성능을 어떻게 향상시키는가?
  • RQ5하드 음성 샘플은 후보 텍스트 세그먼트 간 미묘한 의미적 차이를 구분하는 데 모델의 능력을 얼마나 향상시키는가?

주요 결과

  • Open Textbook 데이터셋에서 인간 평가에서 DocumentCLIP는 평균 순위 0.75를 기록하여 CLIP(1.13) 및 SBert(1.29)를 크게 능가함으로써, 뛰어난 제로샷 관련성 예측 성능을 입증한다.
  • 제로샷 설정에서 인간 평가자들이 49%의 예측을 첫 번째로 순위 매겼으며, DocumentCLIP가 마지막으로 순위 매겨진 경우는 단 18%에 그쳐 높은 신뢰성을 보였다.
  • 지도 학습 및 제로샷 설정 모두에서 최신 기술 수준의 베이스라인을 초월함으로써, 모델의 강건성과 일반화 능력이 확인되었다.
  • 이미지 및 캡션에 모두 CLIP 인코더를 사용할 경우 성능이 가장 뛰어나 모odal 간 의미적 간격을 줄였다.
  • 제거 실험 결과 섹션 위치 및 실체 임베딩이 성능 향상에 크게 기여하는 것으로 확인되었으며, 사전학습 없이 학습을 시작하는 경우(SCRATCH)는 사전학습 전제의 부족으로 성능이 열등했다.
  • 정성 분석 결과 키워드가 없더라도 문맥적으로 관련된 문장을 정확히 식별함을 보여주었으며, 예를 들어 '라이브 액션 특별판'을 'TV 드라마'와 연결하는 데 성공했다.
Figure 2 : Overview of DocumentCLIP in the training phrase. In this example, $t_{00},t_{01},t_{02}$ are the Top 3 sentences selected by the Salient Sentence Extraction from the image/caption pair in yellow. $x^{ic}_{12}$ is the negative query from the image/caption pair in green to generated hard ne
Figure 2 : Overview of DocumentCLIP in the training phrase. In this example, $t_{00},t_{01},t_{02}$ are the Top 3 sentences selected by the Salient Sentence Extraction from the image/caption pair in yellow. $x^{ic}_{12}$ is the negative query from the image/caption pair in green to generated hard ne

더 나은 연구,지금 바로 시작하세요

논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.

카드 등록 없음 · 무료 플랜 제공

이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.