[논문 리뷰] Summarization Programs: Interpretable Abstractive Summarization with Neural Modular Trees

Swarnadeep Saha, Shiyue Zhang외 2명|arXiv (Cornell University)|2022. 09. 21.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 요약 생성을 나무 구조적 순서의 신경 모듈 연산(예: 압축, 다듬어쓰기, 융합)으로 표현하는 모듈식이고 해석 가능한 프레임워크인 요약 프로그램(Summarization Programs, SPs)을 소개한다. SP-Search는 높은 ROUGE 점수로 인간 요약을 재현하는 SPs를 효율적으로 식별하며, SP 기반의 seq2seq 모델은 추론의 투명성과 추론 추적 가능성을 향상시키는 해석 가능한 프로그램을 생성한다.

ABSTRACT

Current abstractive summarization models either suffer from a lack of clear interpretability or provide incomplete rationales by only highlighting parts of the source document. To this end, we propose the Summarization Program (SP), an interpretable modular framework consisting of an (ordered) list of binary trees, each encoding the step-by-step generative process of an abstractive summary sentence from the source document. A Summarization Program contains one root node per summary sentence, and a distinct tree connects each summary sentence (root node) to the document sentences (leaf nodes) from which it is derived, with the connecting nodes containing intermediate generated sentences. Edges represent different modular operations involved in summarization such as sentence fusion, compression, and paraphrasing. We first propose an efficient best-first search method over neural modules, SP-Search that identifies SPs for human summaries by directly optimizing for ROUGE scores. Next, using these programs as automatic supervision, we propose seq2seq models that generate Summarization Programs, which are then executed to obtain final summaries. We demonstrate that SP-Search effectively represents the generative process behind human summaries using modules that are typically faithful to their intended behavior. We also conduct a simulation study to show that Summarization Programs improve the interpretability of summarization models by allowing humans to better simulate model reasoning. Summarization Programs constitute a promising step toward interpretable and modular abstractive summarization, a complex task previously addressed primarily through blackbox end-to-end neural systems. Supporting code available at https://github.com/swarnaHub/SummarizationPrograms

연구 동기 및 목표

• 종단간 추상적 요약 모델에서 해석 가능성의 부족 문제를 해결하며, 명확한 추론 흐름 없이 비현실적인 내용을 생성하는 경향이 있다.
• 추출적 근거에서는 소스 문장 조각만 강조할 뿐 요약 문장의 실제 생성 과정을 모델링하지 못하는 한계를 극복한다.
• 실행 가능한 신경 모듈을 사용해 단계별 추론 과정으로 요약을 모델링하는 프레임워크를 개발하여, 추적 가능하고 충실한 요약 생성을 가능하게 한다.
• 사용자가 중간 표현으로서의 구조화되고 실행 가능한 프로그램을 제공받아 모델의 추론 과정을 시뮬레이션하고 이해할 수 있도록 한다.

제안 방법

• 원천 문서 문장이 잎이 되고, 내부 노드가 신경 모듈을 통해 생성된 중간 문장이며, 루트가 최종 요약 문장이 되는 순서가 지정된 이진 트리의 리스트인 요약 프로그램(Summarization Programs, SPs)을 제안한다.
• 충실하고 사실 기반의 운영을 위해 사전 훈련된 언어 모델에 맞추어 미세조정된 세 가지 작업 전용 신경 모듈(문장 압축, 다듬어쓰기, 융합)을 설계한다.
• 골드 요약 향한 ROUGE 점수를 최대화하도록 반복적으로 모듈을 적용하는 최적 우선 탐색 알고리즘인 SP-Search를 개발한다.
• SP-Search의 출력 결과를 지도 신호로 사용해 두 가지 seq2seq 모델인 Extract-and-Build SP와 Direct SP 생성 모델을 훈련시킨다. 둘 다 원천 문서에서 SPs를 생성하도록 훈련된다.
• 동일한 신경 모듈을 사용해 생성된 SPs를 실행하여 최종 요약을 생성함으로써, 추론의 투명성을 확보하는 종단간 훈련 및 추론을 가능하게 한다.
• 사용자가 SPs를 활용해 모델의 추론 과정을 시뮬레이션하는 시뮬레이션 연구를 수행하였으며, 이는 모델 행동의 일반화 및 예측 가능성 향상을 입증한다.

실험 결과

연구 질문

• RQ1 인간이 작성한 추상적 요약의 생성 과정을 충실하게 표현하는 요약 프로그램(SP)을 자동으로 식별할 수 있는가?
• RQ2 SPs가 모델이 정확한 요약을 생성하도록 해석 가능한 실행 가능한 프로그램을 학습시키는 데 효과적인 중간 표현으로 기능할 수 있는가?
• RQ3 SPs가 인간이 모델의 추론 패턴을 시뮬레이션하고 일반화할 수 있도록 하여 요약 모델의 해석 가능성에 어느 정도 기여하는가?

주요 결과

• SP-Search는 CNN/DailyMail 및 XSum 데이터셋에서 기준 모델 대비 뚜렷이 뛰어난 성능을 보이며, 고ROUGE 점수로 인간 요약을 효과적으로 재구성한다.
• 인간 평가 결과, 신경 모듈이 그 의도한 작업(예: 압축, 융합)에 매우 충실하며 사실 기반의 출력을 생성함을 확인하였다.
• 시뮬레이션 연구에서 SPs가 모델 추론의 예측 가능성을 향상시켰다: 61%의 테스트 케이스에서 ROUGE-2 점수가 향상되었으며(p < 0.001), 이는 SPs가 인간이 모델 행동 패턴을 일반화하는 데 도움이 된다는 것을 시사한다.
• SPs에서 가장 흔한 오류는 중복되거나 너무 긴 경로와 융합 모듈에서 유래한 비현실적인 출력이었으며, 이는 모듈 설계 및 모듈 조합 방식의 향상 여지를 시사한다.
• SPs를 통해 요약 내용이 원천 문장으로 추적 가능해져, 요약에서 환각되거나 잘못된 내용을 디버깅할 수 있는 길을 열어준다.
• 압축, 다듬어쓰기, 융합 이외의 텍스트 조작 작업을 위한 추가 신경 모듈 통합이 가능하므로, 확장성이 뛰어나다.