[논문 리뷰] DOC2PPT: Automatic Presentation Slides Generation from Scientific Documents

Tsu-Jui Fu, William Yang Wang외 2명|arXiv (Cornell University)|2021. 01. 28.

Video Analysis and Summarization인용 수 5

한 줄 요약

이 논문은 과학적 문서에서 구조적이고 시각적으로 정렬된 프레젠테이션 슬라이드를 생성하는 계층적 시퀀스-투-시퀀스 모델인 DOC2PPT를 소개한다. 문서 요약, 다듬어쓰기, 그림-텍스트 매칭, 레이아웃 예측을 통합함으로써, 강력한 베이스라인을 능가하고 높은 품질의 슬라이드 덱을 생성하며, 5,873개의 쌍화된 문서-슬라이드 덱으로 구성된 새로운 데이터셋으로 뒷받침된다.

ABSTRACT

Creating presentation materials requires complex multimodal reasoning skills to summarize key concepts and arrange them in a logical and visually pleasing manner. Can machines learn to emulate this laborious process? We present a novel task and approach for document-to-slide generation. Solving this involves document summarization, image and text retrieval, slide structure and layout prediction to arrange key elements in a form suitable for presentation. We propose a hierarchical sequence-to-sequence approach to tackle our task in an end-to-end manner. Our approach exploits the inherent structures within documents and slides and incorporates paraphrasing and layout prediction modules to generate slides. To help accelerate research in this domain, we release a dataset about 6K paired documents and slide decks used in our experiments. We show that our approach outperforms strong baselines and produces slides with rich content and aligned imagery.

연구 동기 및 목표

• 과학적 문서에서 자동으로 프레젠테이션 슬라이드를 생성하는 과제를 해결하기 위해, 다중모odal 추론, 요약, 시각적 레이아웃 이해가 필요하다.
• 구조적, 텍스트적, 시각적 요소를 통합한 프레임워크를 통해 문서 요약과 슬라이드 생성 간 격차를 메운다.
• 요약된 문장 기반의 텍스트, 관련 그림, 일관된 시각적 레이아웃을 갖춘 슬라이드 덱을 생성하는 시스템을 개발하여 인간이 보완할 수 있는 AI 보조 초안으로서의 활용 가능성을 확보한다.
• 문서-슬라이드 생성 분야의 연구를 가속화하기 위해 5,873개의 쌍화된 과학적 문서와 슬라이드 덱으로 구성된 새로운 벤치마크 데이터셋을 공개한다.
• 생성된 슬라이드의 텍스트 유사도, 그림 관련성, 텍스트-그림 정렬 정도를 평가하는 새로운 평가 지표를 도입한다.

제안 방법

• 문서의 섹션 단위로 처리하고 슬라이드 단위로 생성하는 계층적 시퀀스-투-시퀀스 아키텍처를 제안하며, 구조적 맥락을 위한 임bedded 표현을 사용한다.
• 전체 문장 기반의 문서 내용을 개체 인식 히든 상태 $h^{obj}$를 사용하여 간결한 볼트 포인트 스타일의 어휘로 다듬는 다듬어쓰기 모듈을 도입한다.
• 관련 그림가 같은 슬라이드에 배치되도록 보장하기 위해 텍스트-그림 매칭 목적 함수를 통합한다.
• 다중모달 임베딩 기반으로 유의미한 그림를 제거하거나 매우 관련성이 높은 그림를 추가하기 위해 학습 가능한 임계값 $\theta^R$ 및 $\theta^A$를 사용하는 후처리 단계를 적용한다.
• 템플릿 기반과 학습 기반의 레이아웃 설계 전략을 모두 탐색하며, Microsoft PowerPoint Design Ideas 등의 도구를 적용한 결과, 레이아웃의 시각적 매력도 향상됨을 확인했다.
• 현재 콘텐츠와 이전 맥락을 모두 고려하여 다음 섹션 또는 슬라이드로 전환할 시점을 결정하는 계층적 정책 네트워크를 사용한다.

실험 결과

연구 질문

• RQ1 기계 학습 모델이 입력 문서와 쌍화된 훈련 데이터만을 사용하여 일관되고 시각적으로 정렬된 슬라이드 덱을 생성할 수 있는가?
• RQ2 구조적 임베딩과 다듬어쓰기 기능을 갖춘 계층적 시퀀스-투-시퀀스 모델은 인간이 작성한 슬라이드와 유사한 슬라이드 콘텐츠를 얼마나 효과적으로 생성하는가?
• RQ3 그림-텍스트 매칭과 레이아웃 예측을 통합함으로써 생성된 슬라이드의 품질과 시각적 일관성은 어느 정도 향상되는가?
• RQ4 템플릿 기반과 학습 기반의 레이아웃 전략은 생성된 슬라이드 덱의 시각적 품질과 전문성에 어떤 영향을 미치는가?
• RQ5 생성된 슬라이드 덱은 인간이 보완할 수 있는 고품질의 초안으로 활용될 수 있는가? 이는 프레젠테이션 제작에 소요되는 시간과 노력을 줄이는 데 기여하는가?

주요 결과

• 다듬어쓰기 및 그림 매칭을 통합한 제안된 계층적 시퀀스-투-시퀀스 모델은 $h^{obj}$ 성분이 없는 베이스라인보다 Rouge-L 점수 34.27로 유의미하게 높은 성능을 보였다 (31.95).
• 다듬어쓰기 모듈에 개체 인식 상태 $h^{obj}$를 통합함으로써 Rouge-L 점수가 0.32 포인트 향상되어 맥락 인식 텍스트 변환의 유용성을 입증했다.
• 후처리 단계에서 $\theta^R = 0.8$ 및 $\theta^A = 0.9$를 사용할 경우 LC-F1 점수가 최대가 되어, 그림의 관련성과 노이즈 제거 간의 최적 균형을 이룬다.
• 인간 평가 결과, 생성된 슬라이드가 텍스트 콘텐츠와 그림 배치 면에서 지표 데이터와 매우 유사하며, 텍스트와 시각 요소 간의 정렬도 뛰어나다.
• 생성된 템플릿에 Microsoft PowerPoint Design Ideas를 적용함으로써 레이아웃의 시각적 매력도 크게 향상되어 전문가 수준의 초안으로 인간 편집에 적합한 출력을 확보했다.
• 공개된 5,873개의 쌍화된 문서-슬라이드 덱 데이터셋은 향후 문서-슬라이드 생성 분야의 연구를 위한 강력한 벤치마크를 제공한다.