[论文解读] Automatic punctuation restoration with BERT models

Attila Nagy, Bence Bial+1 more|arXiv (Cornell University)|Jan 18, 2021

Natural Language Processing Techniques参考文献 20被引用 8

一句话总结

本论文提出了一种基于 BERT 的方法，用于英语和匈牙利语的自动标点恢复，利用在 ASR 类似转录文本上微调的多语言和单语 BERT 模型。在英语（Ted Talks）上达到 79.8 的宏平均 F1 分数，在匈牙利语（Szeged Treebank）上达到 82.2，后者是首个基于 BERT 的匈牙利语系统，通过树库数据增强并利用每 token 的集成预测实现性能提升。

ABSTRACT

We present an approach for automatic punctuation restoration with BERT models for English and Hungarian. For English, we conduct our experiments on Ted Talks, a commonly used benchmark for punctuation restoration, while for Hungarian we evaluate our models on the Szeged Treebank dataset. Our best models achieve a macro-averaged $F_1$-score of 79.8 in English and 82.2 in Hungarian. Our code is publicly available.

研究动机与目标

• 使用 IWSLT 2012 Ted Talks 数据集上的微调 BERT 模型，开发一种用于英语的神经标点恢复系统。
• 通过将 Szeged Treebank 适配为 ASR 类似格式以用于训练，将该方法扩展至匈牙利语，一种低资源语言。
• 评估多语言和单语言 BERT 变体（包括 HuBERT）在匈牙利语标点恢复中的表现。
• 通过每 token 的多预测集成推理，研究其对模型性能的影响。
• 建立公开可用的代码库，以实现可复现性并推动自动标点恢复的未来研究。

提出的方法

• 任务被表述为序列标注问题，包含四个类别：EMPTY、COMMA、PERIOD 和 QUESTION，排除罕见标点符号。
• 预处理包括小写转换、删除逗号前的空格，以及将某些标点（如感叹号转换为句号，英文双点转换为逗号）以与目标类别对齐。
• 模型使用 BERT-base uncased、BERT-base cased、mBERT 和 HuBERT 进行英语和匈牙利语的训练，分别在对应数据集上进行微调。
• 为每个 token 生成多个预测并进行聚合，以提高鲁棒性和 F1 分数，尤其对模糊或置信度低的 token 有益。
• 匈牙利语的训练数据通过从 Szeged Treebank 中去除标点并规范化空格，模拟 ASR 输出生成。
• 模型选择基于验证损失和宏平均 F1 分数，最终在测试集上使用表现最佳的检查点进行评估。

实验结果

研究问题

• RQ1 微调后的 BERT 模型是否能在 IWSLT Ted Talks 基准数据集上实现英语自动标点恢复的竞争力表现？
• RQ2 类似的基于 BERT 的方法是否可成功适配至匈牙利语，一种无现有标点恢复基准的低资源语言？
• RQ3 不同 BERT 变体（多语言、单语言、大小写敏感、不区分大小写）在两种语言的标点恢复中表现如何？
• RQ4 使用每 token 多个预测是否能显著提升标点恢复的宏平均 F1 分数？
• RQ5 数据预处理和标签转换对模型性能有何影响，特别是在处理罕见标点符号方面？

主要发现

• 在英语 Ted Talks 数据集上，表现最佳的模型使用 BERT-base-uncased 并结合每 token 64 次预测，达到 79.8 的宏平均 F1 分数，与最先进水平相当。
• 在匈牙利语中，HuBERT 模型达到最高的宏平均 F1 分数 82.2，显著优于最佳多语言 BERT 变体（66.0 F1），绝对提升 12.2 个百分点。
• 使用每 token 多个预测使英语的宏平均 F1 分数提升 5 个百分点，匈牙利语提升 2.4 个百分点，证明了集成推理的优势。
• 在两种语言中，未区分大小写的 BERT 变体均优于区分大小写的版本，可能是因为小写预处理减少了句号预测的偏差。
• Szeged Treebank 已成功适配为 ASR 类似格式，使 BERT 模型在匈牙利语标点恢复上的微调成为可能。
• 本研究首次提出基于 BERT 的匈牙利语标点恢复系统，并公开了代码和模型。