[论文解读] Fine-Grained Named Entity Typing over Distantly Supervised Data via Refinement in Hyperbolic Space.

Muhammad Ali, Yifang Sun+2 more|arXiv (Cornell University)|Jan 27, 2021

Topic Modeling参考文献 25被引用 4

一句话总结

该论文提出FGNET-HR，一种基于超球面图的框架，通过在超球面空间中精炼上下文感知的提及表征，利用细粒度实体类型的层次结构，相较于现有方法在存在标签噪声的远程监督数据上，严格准确率最高提升3.5%。

ABSTRACT

Fine-Grained Named Entity Typing (FG-NET) aims at classifying the entity mentions into a wide range of entity types (usually hundreds) depending upon the context. While distant supervision is the most common way to acquire supervised training data, it brings in label noise, as it assigns type labels to the entity mentions irrespective of mentions' context. In attempts to deal with the label noise, leading research on the FG-NET assumes that the fine-grained entity typing data possesses a euclidean nature, which restraints the ability of the existing models in combating the label noise. Given the fact that the fine-grained type hierarchy exhibits a hierarchal structure, it makes hyperbolic space a natural choice to model the FG-NET data. In this research, we propose FGNET-HR, a novel framework that benefits from the hyperbolic geometry in combination with the graph structures to perform entity typing in a performance-enhanced fashion. FGNET-HR initially uses LSTM networks to encode the mention in relation with its context, later it forms a graph to distill/refine the mention's encodings in the hyperbolic space. Finally, the refined mention encoding is used for entity typing. Experimentation using different benchmark datasets shows that FGNET-HR improves the performance on FG-NET by up to 3.5% in terms of strict accuracy.

研究动机与目标

• 解决远程监督细粒度命名实体分类（FG-NET）数据中标签噪声的挑战。
• 比欧几里得空间更有效地建模细粒度实体类型的层次结构。
• 通过利用超球面空间的内在几何结构进行表征精炼，提升实体分类性能。
• 将基于图的消息传递与超球几何时空结合，以精炼上下文感知的提及编码。
• 证明超球面空间比传统的欧几里得方法更能捕捉实体类型的层次结构。

提出的方法

• 使用双向LSTM网络将每个实体提及的上下文编码为稠密向量表征。
• 构建图结构，其中节点表示实体提及，边表示上下文或语义关系。
• 在超球面空间中通过超球几何时空执行基于图的消息传递，以精炼提及表征。
• 利用超球面空间更自然地建模细粒度实体类型的层次结构，优于欧几里得空间。
• 应用超球面投影与优化技术，以在表征学习过程中保持层次关系。
• 将精炼后的超球面嵌入作为最终表征，用于细粒度实体类型的分类。

实验结果

研究问题

• RQ1 在超球面空间中建模细粒度实体类型的层次结构，是否能提升远程监督FG-NET上的性能？
• RQ2 在处理标签噪声方面，基于图的超球面精炼方法与基于欧几里得空间的方法相比如何？
• RQ3 超球几何时空在多大程度上增强了上下文感知编码中对层次实体类型的表征？
• RQ4 所提出的超球面空间精炼机制是否在基准数据集上带来了可测量的严格准确率提升？

主要发现

• FGNET-HR在多个基准数据集上相较于强基线模型，严格准确率最高提升3.5个百分点。
• 与欧几里得空间相比，使用超球面空间能更优地建模细粒度实体类型的层次结构。
• 在超球面空间中基于图的精炼方法能有效降低远程监督带来的标签噪声影响。
• 该模型在不同数据集上均表现出一致的性能提升，表明对数据分布偏移具有鲁棒性。
• LSTM编码与超球面图精炼的结合，为实体分类带来了更优的表征学习效果。
• 结果验证了超球几何时空作为层次实体分类的归纳偏差，优于欧几里得几何。