[논문 리뷰] Discriminative Adversarial Search for Abstractive Summarization

Thomas Scialom, Paul-Alexis Dray외 3명|arXiv (Cornell University)|2020. 02. 24.

Speech Recognition and Synthesis참고 문헌 52인용 수 9

한 줄 요약

이 논문은 추론 시기 동안 훈련된 판별기(discriminator)를 사용하여 비드라이브(beams) 검색을 안내하는 새로운 순서 디코딩 방법인 Discriminative Adversarial Search(DAS)를 제안한다. 이는 생성자(generator) 파라미터를 갱신하지 않고도 개괄적 요약 생성을 향상시키며, 노출 편향을 감소시킨다. DAS는 CNN/DM 및 TL;DR 벤치마크에서 최신 기술(SOTA) 수준의 ROUGE 점수를 달성하며, 판별기 재훈련을 통해 추가로 성능 햖도를 얻고, 규칙 기반 필터링 없이도 도메인 간 적응성도 뛰어나다.

ABSTRACT

We introduce a novel approach for sequence decoding, Discriminative Adversarial Search (DAS), which has the desirable properties of alleviating the effects of exposure bias without requiring external metrics. Inspired by Generative Adversarial Networks (GANs), wherein a discriminator is used to improve the generator, our method differs from GANs in that the generator parameters are not updated at training time and the discriminator is only used to drive sequence generation at inference time. We investigate the effectiveness of the proposed approach on the task of Abstractive Summarization: the results obtained show that a naive application of DAS improves over the state-of-the-art methods, with further gains obtained via discriminator retraining. Moreover, we show how DAS can be effective for cross-domain adaptation. Finally, all results reported are obtained without additional rule-based filtering strategies, commonly used by the best performing systems available: this indicates that DAS can effectively be deployed without relying on post-hoc modifications of the generated outputs.

연구 동기 및 목표

• 모델이 실제 토큰을 사용해 훈련되지만 추론 시에 그 토큰이 없이 작동하는 노출 편향 문제를 해결하기 위해.
• BLEU나 ROUGE와 같은 외부 메트릭에 의존하지 않고 인간의 언어 스타일에 가까운 출력을 향해 생성을 최적화함으로써 개괄적 요약 생성을 향상시키기 위해.
• 새로운 도메인 데이터에 대해서는 판별기만 훈련함으로써 최소한의 데이터로 효과적인 도메인 간 적응을 가능하게 하기 위해.
• 추론 과정에서 규칙 기반 필터링(예: 길이 페널티, n-gram 반복 방지)이 필요 없도록 하기 위해.
• 생성자 재훈련 없이도 판별기와 생성자 간 피드백 루프를 통해 생성 품질을 향상시키는 방법을 개발하기 위해.

제안 방법

• 실제 요약과 모델이 생성한 요약을 구분할 수 있도록 판별기를 사전에 훈련한다. 이때 실제 시퀀스와 생성된 시퀀스를 사용한다.
• 추론 시기 동안, 판별기의 신뢰도 점수를 사용하여 비드라이브 검색 확률을 재가중함으로써 인간의 언어 스타일에 더 가까운 시퀀스를 선호하게 한다.
• 이로 인해 생성된 시퀀스는 정적 메트릭이 아닌, 인간의 텍스트 분포를 반영한 동적이고 데이터 기반의 메트릭에 의해 안내된다.
• 생성 후, 새로 생성된 시퀀스를 기반으로 판별기를 재훈련하여 진짜 요약과 가짜 요약을 더 잘 구분할 수 있도록 한다. 이는 피드백 루프를 형성한다.
• 생성자 모델의 파라미터는 전체 과정 동안 고정되어 있어 추가 훈련이 필요 없다.
• 이 방법은 CNN/DM 및 TL;DR 데이터셋에 대해 개괄적 요약 생성에 적용되었으며, 도메인 간 적응성과 필터링 전략에 대한 분석도 함께 수행되었다.

실험 결과

연구 질문

• RQ1 생성자 재훈련 없이 추론 시기에 사용되는 판별기가 노출 편향을 효과적으로 줄일 수 있는가?
• RQ2 판별기를 사용하여 비드라이브 검색을 안내하면 최신 기술 수준의 방법보다 ROUGE 및 BLEU 점수에서 향상되는가?
• RQ3 외부 도메인 데이터에 대해 판별기를 효과적으로 미세조정할 수 있는가? 이는 최소한의 데이터로 도메인 간 적응을 가능하게 하는가?
• RQ4 DAS는 길이 페널티나 n-gram 반복 방지를 포함한 규칙 기반 필터링 전략이 필요 없어지는가?
• RQ5 강화 학습이나 메트릭 최적화 기반 디코딩과 비교했을 때, DAS는 인간의 어조에 더 가까운 유창성과 사실 일관성 측면에서 성능가 더 뛰어나게 되는가?

주요 결과

• CNN/DM에서 DAS는 규칙 기반 필터링 없이도 ROUGE-1, ROUGE-2, ROUGE-L에서 최신 기술 수준의 성능을 달성하며, 이는 새로운 SOTA 성과이다.
• TL;DR에서 DAS-retrain를 사용하면 인간 기반 요약보다 2.72개의 토큰이 짧아졌고, UniLM의 경우 12.11개였던 것으로 비교해 길이 제어가 훨씬 우수하다.
• TL;DR에서 DAS-retrain는 단지 1,000개의 예제만으로도 SOTA 모델과 유사한 성능을 달성하여 도메인 간 적응에서 매우 뛰어난 데이터 효율성을 보였다.
• DAS-retrain가 생성한 요약의 어휘 분포는 UniLM보다 인간이 작성한 요약과 더 유사하여 더 인간다운 어휘 사용을 보였다.
• DAS-retrain는 UniLM보다 3-gram 반복을 더 효과적으로 줄였고, 전체 시퀀스 위치에 걸쳐 생성된 요약과 인간 요약 간 격차가 크게 감소했다.
• TL;DR에서 단지 1,000개의 훈련 예제만으로도 판별기는 82.5%의 정확도를 달성하여, 제한된 데이터 조건에서도 매우 뛰어난 성능을 보였다.