[논문 리뷰] Latent Prompt Tuning for Text Summarization

Yubo Zhang, Xingxing Zhang외 3명|arXiv (Cornell University)|2022. 11. 03.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 잠재 프롬프트 테이닝을 활용하여 단일 아키텍처 내에서 제어형 및 비제어형 생성을 모두 가능하게 하는 통합 텍스트 요약 모델인 Lotus를 제안한다. 사전 훈련 기간 동안 대조 학습을 통해 분리된 잠재 프롬프트 표현을 학습함으로써, Lotus는 네 가지 벤치마크 데이터셋에서 비제어형 모드에서 최신 기술 수준의 성능을 달성하면서도 사용자가 지정한 제어 신호(예: 길이, 关련어, 엔티티)를 통해 강력한 제어성을 유지도한다.

ABSTRACT

Prompts with different control signals (e.g., length, keywords, etc.) can be used to control text summarization. When control signals are available, they can control the properties of generated summaries and potentially improve summarization quality (since more information are given). Unfortunately, control signals are not already available during inference time. In this paper, we propose Lotus (shorthand for Latent Prompt Tuning for Summarization), which is a single model that can be applied in both controlled and uncontrolled (without control signals) modes. During training, Lotus learns latent prompt representations from prompts with gold control signals using a contrastive learning objective. Experiments show Lotus in uncontrolled mode consistently improves upon strong (uncontrollable) summarization models across four different summarization datasets. We also demonstrate generated summaries can be controlled using prompts with user specified control tokens.

연구 동기 및 목표

• 텍스트 요약에서 추론 시 제어 신호가 가용하지 않을 경우의 과제를 해결하기 위해.
• 추가 파rameter 없이 제어형 및 비제어형 요약을 하나의 모델 아키텍처로 통합하기 위해.
• 추론 시 가용하지 않을지라도 제어 신호를 훈련 시기에 활용하여 요약 품질을 향상시키기 위해.
• 추론 시 사용자가 지정한 요약 길이, 관련어, 엔티티에 대한 민첩한 제어를 가능하게 하기 위해.
• 잠재 프롬프트 테이닝이 동시에 생성 품질 향상과 제어성 향상에 기여할 수 있음을 보여주기 위해.

제안 방법

• 모델은 사전 훈련 기간 동안 금본 제어 신호(예: 길이, 관련어)를 포함한 프롬프트로부터 분리된 잠재 프롬프트 표현을 학습하기 위해 대조 학습 목표를 사용한다.
• 단일 인코더-디코더 트랜스포머 모델이 학습된 이러한 잠재 프롬프트를 주시하도록 피니튜닝되어 제어형 및 비제어형 생성을 모두 가능하게 한다.
• 추론 시, 모델은 재학습 없이도 프롬프트 없이 비제어형 모드로 전환하거나 사용자가 지정한 신호가 포함된 프롬프트를 사용한 제어형 모드로 전환할 수 있다.
• 길이, 관련어, 엔티티와 같은 제어 신호는 입력 프롬프트로 삽입되어 디코더 생성을 조절하는 데 사용된다.
• 추가 모델 헤드나 어댑터를 도입하지 않아서 파rameter 확장을 방지하며, 오직 프롬프트 테이닝에 의존한다.
• 표준 요약 데이터셋에서 참조 요약에서 추출된 금본 제어 신호를 사용해 프레임워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 아키텍처 수정 없이 단일 요약 모델이 제어형 및 비제어형 생성을 효과적으로 지원할 수 있는가?
• RQ2 제어 신호로부터 잠재 프롬프트 표현을 학습함으로써 비제어형 요약 성능이 향상될 수 있는가?
• RQ3 사용자가 지정한 길이, 관련어 또는 엔티티를 기반으로 요약을 생성할 때 모델이 얼마나 잘 제어성을 유지하는가?
• RQ4 잠재 프롬프트 테이닝을 위한 대조 학습 목표가 다양한 제어 신호 유형 간의 분리성과 일반화 능력을 향상시키는가?
• RQ5 비제어형 모드에서 강력한 베이스라인을 능가하면서도 강력한 제어 능력을 유지할 수 있는가?

주요 결과

• Lotus는 CNN/DailyMail, XSum, Gigaword, New York Times의 네 가지 요약 데이터셋에서 비제어형 모드에서 강력한 베이스라인들을 일관되게 능가한다.
• CNN/DailyMail에서 Lotus는 비제어형 모드에서 ROUGE-L 점수 43.2를 기록하여 가장 강력한 베이스라인보다 1.1점 높게 기록했다.
• 제어형 모드에서 Lotus-Len+Abs는 제어 능력(MAD 1.8)과 생성 품질(ROUGE-L 43.1) 사이의 최적 균형을 달성했으며, 약간 낮은 제어 정밀도를 보였음에도 불구하고 CTRLcode를 품질 면에서 능가했다.
• 사례 연구에서 관련어가 정확히 포함된 요약을 성공적으로 생성함으로써 사용자가 지정한 관련어 및 엔티티를 정확히 반영하는 것으로 확인되었다.
• 길이 제어 신호를 증가시킴으로써 더 긴 요약이 생성되었으며, 이는 모든 테스트 길이(10, 25, 40)에서 효과적이고 확장 가능한 길이 제어가 가능함을 보여주었다.
• 제거 실험을 통해 개별 신호 유형으로만 훈련된 모델에 비해 요약의 일반화 능력 향상이 잠재 프롬프트 표현의 공동 훈련을 통해 이루어졌음을 확인했으며, 이는 Lotus-Len+Abs가 더 뛰어난 성능을 보임을 시사한다.