[논문 리뷰] Actor-Critic based Training Framework for Abstractive Summarization

Piji Li, Lidong Bing외 1명|arXiv (Cornell University)|2018. 03. 28.

Topic Modeling참고 문헌 31인용 수 46

한 줄 요약

이 논문은 신경망 추상 요약을 위한 actor-critic 학습 프레임워크(AC-ABS)를 제안하며, seq2seq 액터와 최대 우도 비평가 및 전역 품질 판별기를 결합하고 교대 방식으로 학습하여 다국어에서 ROUGE 성능을 향상시킵니다.

ABSTRACT

We present a training framework for neural abstractive summarization based on actor-critic approaches from reinforcement learning. In the traditional neural network based methods, the objective is only to maximize the likelihood of the predicted summaries, no other assessment constraints are considered, which may generate low-quality summaries or even incorrect sentences. To alleviate this problem, we employ an actor-critic framework to enhance the training procedure. For the actor, we employ the typical attention based sequence-to-sequence (seq2seq) framework as the policy network for summary generation. For the critic, we combine the maximum likelihood estimator with a well designed global summary quality estimator which is a neural network based binary classifier aiming to make the generated summaries indistinguishable from the human-written ones. Policy gradient method is used to conduct the parameter learning. An alternating training strategy is proposed to conduct the joint training of the actor and critic models. Extensive experiments on some benchmark datasets in different languages show that our framework achieves improvements over the state-of-the-art methods.

연구 동기 및 목표

• pure likelihood 최적화 이상의 신경망 추상 요약 학습을 동기를 부여하여 낮은 품질의 출력(중복, 노이즈 토큰, OOV)을 감소시키려는 목표.
• 행위자(actor)가 어텐션 기반 seq2seq 모델이고 비평가가 품질 신호를 제공하는 actor-critic 프레임워크를 도입합니다.
• actor와 비평가의 교대 학습이 다국어 벤치마크에서 표준 학습보다 우수한 성능을 보임을 증명합니다.

제안 방법

• 정책 네트워크로서 어텐션 기반 seq2seq 액터를 채택합니다(인코더: 양방향 GRU; 디코더: 전역 어텐션이 있는 두 계층 GRU).
• 비평가 I는 가치 함수로 음의 로그 가능도(MLE)를 사용하여 표준 감독형 업데이트를 유도합니다.
• 비평가 II는 생성된 요약과 인간 참조를 구별하는 전역 요약 품질 추정기(이진 분류기)를 도입하여 정책을 REINFORCE로 보상 V_phi를 통해 유도합니다.
• Y(생성)와 비교되는 X와 Y(실제) 표현과의 차원을 비교하는 이진 판별기 V_phi를 사용하여 보상 신호를 생성합니다.
• Critic I로 사전 학습한 후 Critic I과 Critic II를 번갈아 업데이트하는 교대 전략으로 액터와 비평가를 학습합니다(매 K3 스텝마다 Critic II 업데이트).
• 정책 기울기(REINFORCE)는 Critic II 보상을 액터로 전달하는 데 사용되며, 비평가는 그래디언트 기반 업데이트(NLL for Critic I, cross-entropy for Critic II)로 학습됩니다.

실험 결과

연구 질문

• RQ1 actor-critic 학습이 전통적 최대 우도 학습을 넘어 추상 요약 품질을 개선할 수 있는가?
• RQ2 전역 요약 품질 판별기를 도입하면 반복성 및 노이즈가 있는 출력과 같은 문제를 완화하는 데 도움이 되는가?
• RQ3 actor와 비평가의 교대 학습이 공동 학습이나 일반 seq2seq 학습보다 더 안정적이고 효과적인가?
• RQ4 AC-ABS가 English Gigawords, DUC-2004, Chinese LCSTS 데이터셋에서 ROUGE 지표 측면으로 어떤 성능을 보이는가?

주요 결과

• AC-ABS는 Gigawords에서 보고된 지표들(R-1, R-2, R-L)에서 ABS, ABS+, RAS-LSTM, RAS-Elman, ASC-FSC 등과 비교해 최적의 ROUGE 점수를 달성했습니다.
• Gigawords에서 AC-ABS는 R-1: 36.05, R-2: 17.35, R-L: 33.49로 목록에 있는 기준선들을 능가했습니다.
• DUC-2004에서 AC-ABS는 ROUGE-Recall R-1: 29.41, R-2: 9.84, R-L: 25.85로 여러 경쟁 시스템을 앞섰습니다.
• LCSTS에서 AC-ABS는 ROUGE-F1 R-1: 37.51, R-2: 24.68, R-L: 35.02로 비교 대상 방법들 가운데 최상위를 차지합니다.
• 학습 분석은 교대 actor-critic 전략을 사용할 때 표준 seq2seq 학습에 비해 수렴 속도가 빨라지고 ROUGE 지표가 향상되는 것을 보여줍니다.
• Critic II는 학습 중 손실이 매우 작게 나타나 생성 요약과 실제 요약 간의 구별이 효과적이며 학습을 안정시킵니다.