[논문 리뷰] Amharic Abstractive Text Summarization

Amr M. Zaki, Mahmoud I. Khalil외 1명|arXiv (Cornell University)|2020. 03. 30.

Topic Modeling참고 문헌 15인용 수 6

한 줄 요약

이 논문은 19,000개의 뉴스 기사로 구성된 맞춤형 데이터셋과 자체 학습된 단어 임베딩을 사용하여, 자원이 적은 아프리카어인 아مهر라어를 위한 스케줄링 샘플링 기반의 개괄적 텍스트 요약 모델을 제안한다. 모델은 ROUGE-1 F1 20.51과 BLEU 0.3311의 성능을 기록하여, 외부 자원을 최소한으로 사용하여 저자원 아프리카어에 고급 딥러닝 기법을 적용할 수 있음을 보여준다.

ABSTRACT

Text Summarization is the task of condensing long text into just a handful of sentences. Many approaches have been proposed for this task, some of the very first were building statistical models (Extractive Methods) capable of selecting important words and copying them to the output, however these models lacked the ability to paraphrase sentences, as they simply select important words without actually understanding their contexts nor understanding their meaning, here comes the use of Deep Learning based architectures (Abstractive Methods), which effectively tries to understand the meaning of sentences to build meaningful summaries. In this work we discuss one of these new novel approaches which combines curriculum learning with Deep Learning, this model is called Scheduled Sampling. We apply this work to one of the most widely spoken African languages which is the Amharic Language, as we try to enrich the African NLP community with top-notch Deep Learning architectures.

연구 동기 및 목표

• 저자원 아프리카어, 특히 아مهر라어를 위한 개괄적 요약 모델의 부족을 해결하기 위해.
• 이전에 존재하지 않았던 19,000개의 아مهر라어 뉴스 기사와 해당 요약을 포함한 맞춤형 데이터셋을 구축하기 위해.
• 효과적인 딥러닝 기반 텍스트 요약을 가능하게 하기 위해 도메인 특화 단어 임베딩 모델을 훈련하기 위해.
• 개괄적 요약을 위한 시퀀스 투 시퀀스 모델에서의 노출 편향을 줄이기 위해 스케줄링 샘플링을 적용하기 위해.
• 표준 NLP 평가 지표(ROUGE, BLEU)를 사용하여 모델을 평가하고 향후 아مهر라어 NLP 연구를 위한 기준을 설정하기 위해.

제안 방법

• 7개의 아مهر라어 뉴스 웹사이트에서 50,000개의 기사를 크롤링하여 맞춤형 데이터셋을 구축하였으며, 긴 제목을 가진 기사 19,000개를 유지하였다.
• 사전에 학습된 임베딩이 존재하지 않아, 스트립그램 아키텍처를 사용하여 아مهر라어용 맞춤형 단어 임베딩 모델을 훈련시켰다.
• 입력 텍스트의 장거리 의존성을 포착하기 위해 LSTM과 어텐션 메커니즘을 사용한 시퀀스 투 시퀀스 모델을 구현하였다.
• 입력에서 복사할 수 있도록 허용함으로써 OOV(어휘 외 단어)를 처리하기 위해 포인터-ジェ너레이터 네트워크를 모델에 통합하였다.
• 훈련 중에 실제 타겟을 점차 모델이 생성한 출력으로 교체함으로써 노출 편향을 줄이기 위해 스케줄링 샘플링을 적용하였다.
• 커리큘럼 학습을 통해 모델을 미세조정하였으며, 처음에는 완전한 참조 지도 학습을 수행하고 점차 모델 생성 출력에 의존도를 높였다.

실험 결과

연구 질문

• RQ1 스케줄링 샘플링은 아مهر라어와 같이 저자원 언어에 대한 개괄적 요약 성능을 향상시킬 수 있는가?
• RQ2 자체 학습된 단어 임베딩 모델은 저자원 NLP 작업에서 딥러닝을 가능하게 하는 데 얼마나 효과적인가?
• RQ3 노출 편향은 저자원 환경에서 개괄적 요약 모델에 얼마나 큰 영향을 미치는가?
• RQ4 어텐션과 포인터-ジェ너레이터 아키텍처를 갖춘 시퀀스 투 시퀀스 모델은 제한된 훈련 데이터에도 불구하고 아مهر라어에 일반화될 수 있는가?
• RQ5 이 맥락에서 ROUGE와 BLEU와 같은 표준 평가 지표는 아مهر라어와 영어와 같은 고자원 언어 간에 어떻게 비교되는가?

주요 결과

• 제안된 모델은 테스트 세트 100개 문장에서 ROUGE-1 F1 점수 20.51과 BLEU 점수 0.3311을 기록하여 아مهر라어 개괄적 요약의 기준 성능을 확보하였다.
• 아مهر라어 모델과 영어 모델(예: CNN/DailyMail에서 ROUGE-1 39.53) 간의 성능 격차는 주로 훈련 데이터셋 크기의 차이(19,000개 대비 200,000개 기사)에서 기인한다.
• 맞춤형 단어 임베딩 모델은 아مهر라어에서 딥러닝 기반 요약을 가능하게 하여, 이전에는 존재하지 않았던 임베딩의 결여 문제를 해결하였다.
• 스케줄링 샘플링은 노출 편향을 효과적으로 줄였으며, 추론 중에 모델이 자율적으로 요약을 생성하는 능력을 향상시켰다.
• 데이터셋과 단어 임베딩을 오픈소스로 제공함으로써, 아프리카어 NLP 및 저자원 언어 모델링 분야의 향후 연구에 기초를 마련하였다.
• 결과는 사전에 학습된 BERT 모델을 사용한 다국어 간 전이 학습이 데이터 부족 상황에서도 아مهر라어의 성능을 크게 향상시킬 수 있음을 시사한다.