[論文レビュー] Amharic Abstractive Text Summarization

Amr M. Zaki, Mahmoud I. Khalil+1 more|arXiv (Cornell University)|Mar 30, 2020

Topic Modeling参考文献 15被引用数 6

ひとこと要約

本論文は、19,000件のニュース記事と自己学習済み単語埋め込みを用いた独自構築データセットを用い、低リソースなアムハラ語（アフリカ語の一つ）向けにスケジュールドサンプリングを応用した要約生成モデルを提案する。モデルはROUGE-1 F1スコア20.51およびBLEUスコア0.3311を達成し、外部リソースを最小限に抑えて高レベルなディーブラーニング技術を低リソースなアフリカ語に適用可能であることを示している。

ABSTRACT

Text Summarization is the task of condensing long text into just a handful of sentences. Many approaches have been proposed for this task, some of the very first were building statistical models (Extractive Methods) capable of selecting important words and copying them to the output, however these models lacked the ability to paraphrase sentences, as they simply select important words without actually understanding their contexts nor understanding their meaning, here comes the use of Deep Learning based architectures (Abstractive Methods), which effectively tries to understand the meaning of sentences to build meaningful summaries. In this work we discuss one of these new novel approaches which combines curriculum learning with Deep Learning, this model is called Scheduled Sampling. We apply this work to one of the most widely spoken African languages which is the Amharic Language, as we try to enrich the African NLP community with top-notch Deep Learning architectures.

研究の動機と目的

• 低リソースなアフリカ語、特にアムハラ語向けの要約生成モデルの不足に対処すること。
• 以前に類似データセットが存在しなかったため、19,000件のアムハラ語ニュース記事と対応する要約を含む独自データセットを構築すること。
• 要約生成に効果的に機能するため、ドメイン特化型の単語埋め込みモデルをアムハラ語用に訓練すること。
• 要約生成のためのシーケンス・ツー・シーケンスモデルにおける露出バイアスを軽減するために、スケジュールドサンプリングを適用すること。
• 標準的なNLP評価指標（ROUGE、BLEU）を用いてモデルを評価し、将来的なアムハラ語NLP研究のベンチマークを確立すること。

提案手法

• 7つのアムハラ語ニュースWebサイトから50,000件の記事をクローリングし、長めのタイトルを持つものに限定して19,000件の独自データセットを構築した。
• 言語に事前学習済み埋め込みが存在しないため、スイープ・グラムアーキテクチャを用いてアムハラ語用のカスタム単語埋め込みモデルを訓練した。
• 入力テキストの長距離依存関係を捉えるために、LSTMとアテンションメカニズムを備えたシーケンス・ツー・シーケンスモデルを実装した。
• 入力から単語をコピーできるようにすることでOOV（語彙外語）対策を図るため、ポインタジェネレータネットワークをモデルに統合した。
• 訓練中に真値ターゲットを段階的にモデル生成出力に置き換えることで、露出バイアスを軽減するため、スケジュールドサンプリングを適用した。
• カリキュラム学習を用いて微調整し、初期段階では完全な参照監視を実施し、徐々にモデル生成出力への依存度を高めた。

実験結果

リサーチクエスチョン

• RQ1 スケジュールドサンプリングは、アムハラ語のような低リソース言語向けの要約生成性能を向上させることができるか？
• RQ2 自己学習済み単語埋め込みモデルは、低リソースNLPタスクにおけるディーブラーニングの実現にどの程度有効か？
• RQ3 露出バイアスは、低リソース環境下の要約生成モデルにどの程度影響を及ぼすか？
• RQ4 アテンションとポインタジェネレータアーキテクチャを備えたseq2seqモデルは、限られた訓練データでもアムハラ語に一般化可能か？
• RQ5 この文脈において、ROUGEやBLEUといった標準評価指標は、英語などの高リソース言語と比較して、アムハラ語ではどの程度異なる結果を示すか？

主な発見

• 提案モデルは、100文のテストセットでROUGE-1 F1スコア20.51、BLEUスコア0.3311を達成し、アムハラ語要約生成のベースライン性能を示した。
• アムハラ語モデルと英語モデル（例：CNN/DailyMailでROUGE-1 39.53）との性能差は、主に訓練データサイズの小ささ（19k対200k件）に起因する。
• カスタム単語埋め込みモデルは、以前に同様の埋め込みが存在しなかったアムハラ語のディーブラーニングベース要約生成を成功に導いた。
• スケジュールドサンプリングは露出バイアスを効果的に低減し、推論時におけるモデルの要約生成の自律性を向上させた。
• データセットと単語埋め込みのオープンソース提供により、アフリカNLPおよび低リソース言語モデリング分野の将来的な研究基盤が整った。
• 結果から、事前学習済みBERTモデルを用いた多言語間転移学習が、データ不足の状況下でもアムハラ語の性能を著しく向上させられると示唆された。