[논문 리뷰] MACSum: Controllable Summarization with Mixed Attributes

Yusen Zhang, Yang Liu외 7명|arXiv (Cornell University)|2022. 11. 09.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 뉴스 및 대화 자료에서 유저가 제어할 수 있는 다섯 가지 속성—길이, 추출성, 특정성, 주제, 화자—를 포함한 혼합 속성 제어 요약을 위한 첫 번째 인간 레이블이 부여된 데이터셋인 MACSum을 소개한다. 하드 프롬프트 및 소프트 프리픽스 튜닝 방법을 제안하며, 하드 프롬프트 모델이 자동 평가 및 인간 평가 지표에서 최고의 성능을 보였지만, 혼합 속성 제어는 여전히 도전 과제로 남아 있다.

ABSTRACT

Controllable summarization allows users to generate customized summaries with specified attributes. However, due to the lack of designated annotations of controlled summaries, existing works have to craft pseudo datasets by adapting generic summarization benchmarks. Furthermore, most research focuses on controlling single attributes individually (e.g., a short summary or a highly abstractive summary) rather than controlling a mix of attributes together (e.g., a short and highly abstractive summary). In this paper, we propose MACSum, the first human-annotated summarization dataset for controlling mixed attributes. It contains source texts from two domains, news articles and dialogues, with human-annotated summaries controlled by five designed attributes (Length, Extractiveness, Specificity, Topic, and Speaker). We propose two simple and effective parameter-efficient approaches for the new task of mixed controllable summarization based on hard prompt tuning and soft prefix tuning. Results and analysis demonstrate that hard prompt models yield the best performance on all metrics and human evaluations. However, mixed-attribute control is still challenging for summarization tasks. Our dataset and code are available at https://github.com/psunlpgroup/MACSum.

연구 동기 및 목표

• 현재 일반 요약 작업에서 유도된 가짜 데이터셋에 의존하는 혼합 속성 제어 요약을 위한 인간 레이블이 부여된 벤치마크의 부족을 해결하기 위해.
• 예를 들어 주어진 주제에서 짧고 높은 특정성을 가진 요약을 동시에 제어적으로 생성할 수 있도록 다수의 속성을 동시에 제어할 수 있도록 하기 위해.
• 다양한 사용자 선호도에 맞는 요약을 다수의 속성에 따라 맞춤형으로 생성할 수 있는 고품질의 벤치마크를 구축하기 위해.
• 요약에서 다양한 속성을 제어하기 위한 효과적인 파라미터 효율적인 미세조정 방법—하드 프롬프트 및 소프트 프리픽스 튜닝—을 탐색하기 위해.
• 주제 집중도 상실, 길이-특정성 간 상충 관계, 추출성-유창성 갈등과 같은 혼합 속성 제어에서 지속적인 과제를 규명하기 위해.

제안 방법

• 저자들은 뉴스 및 대화 도메인의 소스 텍스트를 포함하며, 길이, 추출성, 특정성, 주제, 화자 등 다섯 가지 속성으로 제어되는 요약이 포함된 인간 레이블이 부여된 MACSum 데이터셋을 도입한다.
• 각 소스 입력에 대해 다양한 제어 속성 조합으로 다수의 요약 레이블을 생성하여 동일한 입력에 대한 다중 출력 평가가 가능하도록 한다.
• 하드 프롬프트(Hard Prompt, HP) 방법은 제어 속성의 자연어 기술(예: "길이: 긴")을 입력 시퀀스 앞에 첨부하여 프롬프트로 사용한다.
• 소프트 프리픽스(Soft Prefix, SP) 방법은 입력 임bedding 이전에 학습 가능한 연속적인 프리픽스 벡터를 삽입하여 모델 가중치를 수정하지 않고도 파라미터 효율적인 제어를 가능하게 한다.
• 요약 모델은 하드 프롬프트 또는 소프트 프리픽스에 조건을 두고 미세조정되어, 출력이 지정된 속성 조합과 일치하도록 한다.
• 길이, 추출성, 특정성, 주제 관련성, 화자 일관성 등 다양한 속성에서 제어의 정확도를 측정하기 위해 두 가지 새로운 자동 평가 지표를 제안한다.

실험 결과

연구 질문

• RQ1 혼합 속성에 대한 인간 레이블이 부여된 데이터셋은 가짜 데이터셋에 비해 제어 요약 모델의 성능과 신뢰도를 향상시키는가?
• RQ2 하드 프롬프트 및 소프트 프리픽스 튜닝은 다수의 요약 속성을 동시에 제어하는 데 얼마나 효과적인가?
• RQ3 높은 특정성과 짧은 길이와 같은 상충되는 속성을 동시에 만족시키는 요약을 생성하는 데 있어 핵심 과제는 무엇인가?
• RQ4 주제어를 명시적으로 언급하지 않더라도 주제 관련성을 제대로 파악하지 못하는 모델의 실패 정도는 얼마나 되며, 이는 제어 정확도에 어떤 영향을 미치는가?
• RQ5 추출성이 높아지면 특히 대화 맥락에서 생성된 요약의 문법성과 유창성에 어떤 영향을 미치는가?

주요 결과

• 하드 프롬프트 모델은 모든 자동 평가 지표와 인간 평가 기준에서 소프트 프리픽스 모델을 앞서며, 더 높은 제어 정확도와 유창성을 보여준다.
• MACSum의 인간 레이블이 부여된 요약은 다양한 속성 조합에서 높은 다양성과 일관성을 보이며, 데이터셋의 품질과 벤치마크 활용 가능성의 타당성을 입증한다.
• 인간 레이블 요약과 모델 생성 요약 사이에 여전히 큰 성능 격차가 존재하여, 혼합 속성 제어가 여전히 도전적인 과제임을 시사한다.
• 모델는 '주제 집중도 상실' 현상을 보이며, 주제어를 명시적으로 언급하지 않더라도 높은 수준의 주제적 관련성을 파악하지 못하고, 명시적인 주제어어에 과도하게 의존한다.
• 길이와 특정성 사이에 강한 상충 관계가 존재한다: 높은 특정성과 짧은 길이를 동시에 만족시키는 요약은 특히 어렵고, 이는 모델 출력이 인간 레이블 기준보다 길어지는 것으로 나타났다.
• 높은 추출성은 특히 대화 맥락에서 문장이 끈적거리고 문법적으로 잘못되며 불완전한 형태로 나타나는 경향이 있다.