[논문 리뷰] From Sparse to Dense: GPT-4 Summarization with Chain of Density Prompting

Griffin Adams, Alexander R. Fabbri외 3명|arXiv (Cornell University)|2023. 09. 08.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 GPT-4 요약의 엔티티 밀도를 늘리되 길이를 늘리지 않는 방법으로, 점진적으로 중요한 엔티티를 추상화하고 융합함으로써 반복적으로 엔티티 밀도를 높이는 Chain of Density (CoD) 프롬프팅을 제안한다. 인간 선호도 연구 결과, 인간이 작성한 요약과 유사한 밀도(0.151 E/T)를 가진 요약이 일반 GPT-4 요약(0.122 E/T)보다 선호되며, 정보성과 독해성 사이의 최적의 균형을 이룬다.

ABSTRACT

Selecting the ``right'' amount of information to include in a summary is a difficult task. A good summary should be detailed and entity-centric without being overly dense and hard to follow. To better understand this tradeoff, we solicit increasingly dense GPT-4 summaries with what we refer to as a ``Chain of Density'' (CoD) prompt. Specifically, GPT-4 generates an initial entity-sparse summary before iteratively incorporating missing salient entities without increasing the length. Summaries generated by CoD are more abstractive, exhibit more fusion, and have less of a lead bias than GPT-4 summaries generated by a vanilla prompt. We conduct a human preference study on 100 CNN DailyMail articles and find that that humans prefer GPT-4 summaries that are more dense than those generated by a vanilla prompt and almost as dense as human written summaries. Qualitative analysis supports the notion that there exists a tradeoff between informativeness and readability. 500 annotated CoD summaries, as well as an extra 5,000 unannotated summaries, are freely available on HuggingFace (https://huggingface.co/datasets/griffin/chain_of_density).

연구 동기 및 목표

• 요약의 정보성(엔티티 밀도에 의해 영향을 받음)과 독해성(낮은 밀도를 선호함) 사이의 상충 관계를 조사하기 위해.
• 길이와 통일성을 유지하면서 GPT-4 요약의 엔티티 밀도를 높이는 프롬프트 기반 반복적 방법을 개발하기 위해.
• 인간 선호도 평가를 통해 요약의 최적 정보 밀도 수준을 특정하기 위해.
• 향후 고정 길이, 가변 밀도 요약 연구를 위해 500개의 주석이 달린 및 5,000개의 주석이 없는 CoD 요약을 공개 제공하기 위해.

제안 방법

• Chain of Density (CoD) 프롬프트를 사용하여 1~3개의 주요 엔티티를 포함한 초기 요약을 생성한다.
• 다섯 단계의 반복 과정 동안, 이전 요약의 길이를 늘리지 않고 소스 기사에서 새로운, 관련성 있는, 구체적인, 충실한, 중복되지 않은 1~3개의 엔티티를 식별하고 이전 요약에 융합한다.
• 압축, 융합, 추상화를 명시적으로 장려하여 길이를 유지하면서 엔티티 수를 늘린다.
• 엔티티 밀도는 토큰당 엔티티 수(E/T) 비율로 측정되며, 초기 요약은 0.089 E/T에서 시작하여 제5단계에 도달할 때 0.151 E/T로 증가한다.
• 인간 선호도 연구를 통해 단계별 CoD 요약을 비교하며, 주석을 통해 정보성, 통일성, 총합 품질을 평가한다.
• 자동 평가에서는 GPT-4를 사용해 다섯 차원(정보성, 품질, 통일성, 근거 가능성, 총합)에서 요약을 평가한다.

실험 결과

연구 질문

• RQ1 GPT-4 요약에서 인간이 선호하는 엔티티 밀도는 어느 정도이며, 인간이 작성한 요약과 비교해 볼 때 어떻게 다른가?
• RQ2 CoD 프롬프팅을 통한 반복적 밀도 증가가 요약의 개재적 품질, 융합 능력, 주도 편향에 어떤 영향을 미치는가?
• RQ3 통일성과 독해성이 저하되기 시작하기 전까지 정보 밀도를 높이면 어느 정도까지 정보성이 향상되는가?
• RQ4 GPT-4 기반 자동 평가 지표가 밀도 높은 요약의 인간 선호도를 신뢰성 있게 예측할 수 있는가?

주요 결과

• 인간 선호도 연구 결과, CoD 제3단계(0.151 E/T) 요약이 일반 GPT-4 프롬프트 요약(0.122 E/T)보다 선호되며, 1위 투표의 61%가 최소 3단계의 밀도 증가를 거친 요약에 집중된다.
• 중간값 선호도 CoD 단계는 3이며, 기대 선호도 단계는 3.06로, 인간이 작성한 요약의 엔티티 밀도(0.151 E/T)와 유사한 밀도를 선호함을 시사한다.
• 자동 평가 결과, 총합 품질 점수는 CoD 제4단계(4.74)에서 최고를 기록하며, 정보성 및 총합 점수는 밀도 증가에 따라 증가하지만, 품질과 통일성 점수는 각각 제2단계와 제1단계 이후로 하락한다.
• 정성적 분석 결과, 정보성과 독해성 사이에 명확한 상충 관계가 있으며, 중간 수준의 CoD 단계(제3~4단계)에서 가장 균형 잡힌 성과를 보였다.
• GPT-4의 총합 점수와 인간 평가 간 피어슨 상관계수는 0.31로, 낮은 총상관계수에도 불구하고 이전 연구에서 보고된 LLM 기반 평가의 결과와 일관되게 중간 정도의 일치를 보였다.
• 저자들은 향후 고정 길이, 가변 밀도 요약 연구를 위해 HuggingFace에 500개의 주석이 달린 CoD 요약과 5,000개의 주석이 없는 요약을 공개한다.