[論文レビュー] Automatic punctuation restoration with BERT models

Attila Nagy, Bence Bial+1 more|arXiv (Cornell University)|Jan 18, 2021

Natural Language Processing Techniques参考文献 20被引用数 8

ひとこと要約

本稿では、ASRに類似した転写テキストを用いて、微調整された多言語および単語言語のBERTモデルを活用して、英語およびハンガリー語における自動句読点回復のためのBERTベースの手法を提示する。英語（Ted Talks）ではマクロF1スコア79.8、ハンガリー語（Szeged Treebank）では82.2を達成し、後者はハンガリー語における最初のこのようなBERTベースのシステムであり、ツリー・バンクからのデータ拡張と、1トークンあたりのアンサンブル予測による性能向上を実現している。

ABSTRACT

We present an approach for automatic punctuation restoration with BERT models for English and Hungarian. For English, we conduct our experiments on Ted Talks, a commonly used benchmark for punctuation restoration, while for Hungarian we evaluate our models on the Szeged Treebank dataset. Our best models achieve a macro-averaged $F_1$-score of 79.8 in English and 82.2 in Hungarian. Our code is publicly available.

研究の動機と目的

• IWSLT 2012 Ted Talksデータセットを用いて、微調整されたBERTモデルを用いた英語向けニューラル句読点回復システムの開発。
• ハンガリー語（低リソース言語）へのアプローチの拡張を目的とし、Szeged TreebankをASRに類似したフォーマットに変換して学習に用いる。
• 多言語および単語言語のBERTバリアント、ならびにHuBERTがハンガリー語の句読点回復に与える影響を評価する。
• 1トークンあたり複数の予測を用いることで、モデル性能に与える影響をアンサンブル推論を通じて調査する。
• 再現可能性および今後の自動句読点回復分野の研究を促進するため、公開可能なコードベースを整備する。

提案手法

• 4つのクラス（EMPTY, COMMA, PERIOD, QUESTION）を対象として、シーケンスラベル付け問題として定式化し、希少な句読点記号は除外する。
• 前処理では、小文字化、コロンの前後の空白の削除、および特定の句読点（例：感嘆符をピリオドに、コ двをコロンに）の変換を実施し、ターゲットクラスと整合させる。
• 英語およびハンガリー語の両言語で、BERT-base uncased、BERT-base cased、mBERT、およびHuBERTを用い、それぞれのデータセットで微調整を行う。
• 1トークンあたり複数の予測を生成し、集約することで、曖昧または信頼度が低いトークンの性能とF1スコアの向上を図る。
• ハンガリー語の学習データは、ツリー・バンクから、句読点を削除し、空白を正規化することでASR出力を模擬して生成する。
• モデル選定は検証損失とマクロF1スコアに基づき、最良のパフォーマンスを示したチェックポイントを用いてテストセットで最終評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 微調整されたBERTモデルは、IWSLT Ted Talksベンチマークを用いて、英語の自動句読点回復で競争力のある性能を達成できるか？
• RQ2 同様のBERTベースのアプローチは、既に句読点回復ベンチマークが存在しない低リソース言語たるハンガリー語に対しても成功裏に適応可能か？
• RQ3 多言語、単語言語、大文字・小文字区別あり・なしの異なるBERTバリアントは、両言語における句読点回復でどのように性能を示すか？
• RQ4 1トークンあたり複数の予測を用いることで、マクロF1スコアが顕著に向上するか？
• RQ5 前処理およびラベル変換の影響は、特に希少な句読点記号の処理において、モデル性能に与える影響は何か？

主な発見

• 英語のTed Talksデータセットにおいて、最もパフォーマンスの優れたモデルは、BERT-base-uncasedを用い、1トークンあたり64回の予測を実行することで、マクロF1スコア79.8を達成し、最先端の性能を再現した。
• ハンガリー語では、HuBERTモデルが最高のマクロF1スコア82.2を記録し、最良の多言語BERTバリアント（66.0 F1）を12.2ポイントも上回った。
• 1トークンあたり複数の予測を用いることで、英語ではF1スコアが5ポイント、ハンガリー語では2.4ポイント向上し、アンサンブル推論の有効性が示された。
• 両言語において、小文字バージョンのBERTが大文字バージョンを上回った。これは、小文字化処理によりピリオド予測のバイアスが低減されたためと推測される。
• Szeged Treebankは、ASRに類似したフォーマットに成功裏に変換され、ハンガリー語の句読点回復におけるBERTモデルの微調整に有効に利用された。
• 本研究では、ハンガリー語における最初のBERTベースの句読点回復システムを提示し、公開可能なコードおよびモデルを提供した。