[论文解读] DomainNet: Homograph Detection for Data Lake Disambiguation

Aristotelis Leventidis, Laura Rocco+3 more|arXiv (Cornell University)|Jan 1, 2021

Data Quality and Management参考文献 49被引用 5

一句话总结

DomainNet 提出了一种无监督方法，通过在二分图中建模值与属性的共现关系并应用网络中心性度量，实现对异构数据湖中同形异义词（即具有多重含义的数据值）的检测。在真实数据上，其在前200名预测中的精确率为89%，在合成基准测试中相较基线方法在召回率（69%）与精确率（38%）方面表现更优。

ABSTRACT

Modern data lakes are deeply heterogeneous in the vocabulary that is used to describe data. We study a problem of disambiguation in data lakes: how can we determine if a data value occurring more than once in the lake has different meanings and is therefore a homograph? While word and entity disambiguation have been well studied in computational linguistics, data management and data science, we show that data lakes provide a new opportunity for disambiguation of data values since they represent a massive network of interconnected values. We investigate to what extent this network can be used to disambiguate values. DomainNet uses network-centrality measures on a bipartite graph whose nodes represent values and attributes to determine, without supervision, if a value is a homograph. A thorough experimental evaluation demonstrates that state-of-the-art techniques in domain discovery cannot be re-purposed to compete with our method. Specifically, using a domain discovery method to identify homographs has a precision and a recall of 38% versus 69% with our method on a synthetic benchmark. By applying a network-centrality measure to our graph representation, DomainNet achieves a good separation between homographs and data values with a unique meaning. On a real data lake our top-200 precision is 89%.

研究动机与目标

• 为解决在缺乏标注数据或模式一致性的情况下，数据湖中多次出现但含义不同的数据值（即同形异义词）的歧义消解问题。
• 探究是否可以利用数据湖中大规模的值共现网络，无监督地检测同形异义词。
• 开发一种可扩展的无监督方法，仅基于跨表的共现模式识别同形异义词，而无需依赖模式或元数据。
• 评估同形异义词对现有语义集成任务（如领域发现）的影响，并展示同形异义词检测在数据质量与集成中的实用性。

提出的方法

• 构建一个二分图，其中一类节点代表数据值，另一类节点代表属性，边表示这些值在相同表列中共同出现。
• 应用网络中心性度量（如度中心性、特征向量中心性或类似PageRank的得分）以识别在图中高度中心化的值，这些值可能因承担多种语义角色而成为同形异义词。
• 利用所得的中心性得分对值进行排序，并将中心性高的值分类为同形异义词，假设其在不同上下文中与多样化的属性共现。
• 与基于领域发现（D⁴）的基线方法进行对比，该基线方法若某值出现在多个语义领域中，则将其标记为同形异义词，结果表明本方法性能更优。
• 在合成数据和真实世界基准（TUS, TUS-I）上进行评估，以检验在不同含义数量和数据基数下的鲁棒性。
• 使用社区检测启发式方法，通过识别共现属性的聚类，推断同形异义词的不同含义。

实验结果

研究问题

• RQ1 在无监督条件下，值-属性共现图中的网络中心性是否能有效识别数据湖中的同形异义词？
• RQ2 DomainNet 在检测同形异义词方面相较于基于领域发现的方法表现如何？
• RQ3 同形异义词的基数（即不同共现属性的数量）在多大程度上影响检测准确率？
• RQ4 同形异义词对现有语义集成任务（如领域发现）产生何种影响？
• RQ5 该方法能否检测到多种类型的同形异义词，包括空值等价物、数据错误以及多义短语？

主要发现

• 在合成基准上，DomainNet 达到69%的召回率和38%的精确率，显著优于基于领域发现的基线方法。
• 在真实数据湖中，DomainNet 在前200名预测中的同形异义词检测精确率达到89%。
• 随着同形异义词基数的降低，方法的准确率从97%下降至85%，表明其对低共现多样性较为敏感。
• DomainNet 成功检测到多种类型的同形异义词，包括空值等价物（如“.”）、数据错误（如错误放置的公司名称）以及多义短语（如“Music Faculty”既可表示地点也可表示部门）。
• 同形异义词会显著降低领域发现方法的性能，凸显在数据集成流程中预先检测此类值的必要性。
• 该方法对含义数量较多的同形异义词具有鲁棒性，且随着每个同形异义词所含不同含义数量的增加，检测准确率也随之提高。