[论文解读] Clustering Contextualized Representations of Text for Unsupervised Syntax Induction.

Vikram Gupta, Haoyue Shi+2 more|arXiv (Cornell University)|Oct 24, 2020

Topic Modeling参考文献 33被引用 4

一句话总结

本文提出了一种深度嵌入聚类方法，联合学习低维、适合聚类的表示，并对上下文嵌入的文本表示进行聚类，以实现无监督句法归纳。该方法在12类词性标注归纳（10种语言）任务上表现强劲，在句法成分标注任务上也取得了具有竞争力的结果，使用上下文表示建立了新的基准。

ABSTRACT

We explore clustering of contextualized text representations for two unsupervised syntax induction tasks: part of speech induction (POSI) and constituency labelling (CoLab). We propose a deep embedded clustering approach which jointly transforms these representations into a lower dimension cluster friendly space and clusters them. We further enhance these representations by augmenting them with task-specific representations. We also explore the effectiveness of multilingual representations for different tasks and languages. With this work, we establish the first strong baselines for unsupervised syntax induction using contextualized text representations. We report competitive performance on 45-tag POSI, state-of-the-art performance on 12-tag POSI across 10 languages, and competitive results on CoLab.

研究动机与目标

• 解决无标注训练数据下的无监督句法归纳挑战。
• 利用上下文文本表示改进词性标注归纳（POSI）和句法成分标注（CoLab）。
• 开发一种联合表示学习与聚类的框架，以提升聚类性能。
• 评估多语言上下文表示在句法归纳任务中的有效性。
• 利用现代上下文嵌入建立无监督句法归纳的强基准。

提出的方法

• 提出一种深度嵌入聚类框架，在共享潜在空间中联合优化表示学习与聚类。
• 将上下文文本表示转换到更低维空间，使其更适用于聚类。
• 通过任务特定组件增强表示，以提升聚类质量。
• 利用多语言上下文表示，探索句法归纳中的跨语言迁移。
• 采用端到端可微的聚类目标，与表示学习过程联合优化。
• 应用对比学习或类似正则化方法，以改善潜在空间中的聚类分离效果。

实验结果

研究问题

• RQ1 深度嵌入聚类能否在无监督条件下有效从上下文文本表示中归纳句法结构？
• RQ2 任务特定表示在多大程度上提升了句法归纳的聚类性能？
• RQ3 多语言上下文表示在无监督句法归纳中跨语言泛化的程度如何？
• RQ4 该方法在多种语言的12类和45类词性标注归纳基准上的表现如何？
• RQ5 与以往无监督句法归纳方法相比，该方法在准确率和鲁棒性方面表现如何？

主要发现

• 该方法在使用上下文表示的10种语言12类词性标注归纳任务中达到最先进性能。
• 在45类词性标注归纳任务上也取得了具有竞争力的结果，为该任务设立了新的强基准。
• 句法成分标注（CoLab）性能具有竞争力，表明该方法在句法结构归纳方面具有良好的泛化能力。
• 任务特定表示的集成显著提升了聚类质量。
• 多语言表示在跨语言句法归纳中表现出有效性，支持跨语言的迁移学习。
• 表示学习与聚类的联合优化，相比独立方法，产生了更一致且更准确的句法聚类。