[论文解读] Assessing Digital Language Support on a Global Scale
本文提出了一种可解释的、自动化的方法，通过在143个数字工具中抓取的语言支持数据上应用Mokken量表分析，对所有ISO 639语言的数字语言支持（DLS）进行量化。该方法生成一个五级量表——仍处于起步阶段、初步发展、持续上升、活力充沛、繁荣发展——揭示仅有33种语言达到繁荣发展水平，而3,996种语言仍处于起步阶段，凸显了全球范围内的数字语言鸿沟。
The users of endangered languages struggle to thrive in a digitally-mediated world. We have developed an automated method for assessing how well every language recognized by ISO 639 is faring in terms of digital language support. The assessment is based on scraping the names of supported languages from the websites of 143 digital tools selected to represent a full range of ways that digital technology can support languages. The method uses Mokken scale analysis to produce an explainable model for quantifying digital language support and monitoring it on a global scale.
研究动机与目标
- 开发一种自动化、可解释的方法，对所有ISO 639语言的数字语言支持（DLS）进行测量。
- 通过创建一种确定性、可解释的DLS评估方法，解决黑箱模型的局限性。
- 通过将DLS量化为单一潜在特质，实现对语言数字活力的长期监测。
- 通过聚焦于DLS而非混合的数字活力指标，为Kornai（2013）的方法提供一种可扩展的替代方案。
- 支持《民族语》（Ethnologue）在其全球语言数据库中整合DLS报告。
提出的方法
- 该方法使用网络爬虫从143个代表不同数字技术领域的数字工具中收集语言支持数据。
- 应用Mokken量表分析，验证七个DLS类别的单维量表：表面层、编码、内容、本地化、语音、助手和语义。
- 使用项目反应理论（IRT）推导项目反应函数（IRFs），以建模语言在不同DLS类别中实现的概率，基于其累计得分。
- DLS得分被归一化为最大可能得分（0至28）的比例，IRFs提供的概率用于调整虚假或不可持续的支持。
- 将所得的DLS得分绘制在对数尺度、翻转的排名轴上，以揭示典型的创新采纳S型增长模式。
- 根据每种语言在拟合S型曲线上的几何位置，分配五个总结性等级：仍处于起步阶段、初步发展、持续上升、活力充沛、繁荣发展。
实验结果
研究问题
- RQ1如何以可扩展、可解释且确定性的方式，对所有ISO 639语言的数字语言支持（DLS）进行测量？
- RQ2DLS与非数字语言活力的相关程度如何？能否有意义地将其与后者区分开来？
- RQ3Mokken量表分析能否有效利用来自数字工具的多样化真实数据，对DLS的单维特质进行建模？
- RQ4全球范围内DLS的分布情况如何？其是否遵循S型增长曲线模式？
- RQ5哪些语言正走在数字活力的道路上？哪些语言尽管母语人口众多，却仍缺乏支持？
主要发现
- DLS量表在整体上达到了0.825的同质性系数（H），表明测量具有高度内部一致性，可靠性强。
- DLS中得分最高的项目——如助手（H = 0.987）和语音（H = 0.942）——表现出最强的可扩展性，表明其支持具有稳健性和累积性。
- 仅有33种语言（0.4%）被归类为繁荣发展，包括英语和匈牙利语，表明全面数字支持的范围极为有限。
- 3,996种语言（51.1%）被归类为仍处于起步阶段，包括艾迈克语和尤罗克语，尽管其母语人口众多，但数字支持极少或没有。
- 7,829种语言的DLS得分在对数尺度、翻转的排名轴上绘制后，呈现出清晰的S型增长模式，证实其增长轨迹与创新采纳过程一致。
- 该模型成功区分了具备基础支持（如键盘输入、编码）的语言与具备高级功能（如虚拟助手）的语言，项目难度表明高级功能需要大量前期支持作为前提。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。