[论文解读] Denoising individual bias for a fairer binary submatrix detection

Changlin Wan, Wennan Chang+3 more|arXiv (Cornell University)|Jul 31, 2020

Face and Expression Recognition参考文献 6被引用 4

一句话总结

本文提出BIND，一种去噪框架，通过在二值矩阵中对异质的行和列背景噪声进行建模，提升了二值子矩阵检测中的公平性与准确性。通过估计模式与背景概率的混合分布，BIND能够识别并移除可能源自背景噪声的属性，显著提升了合成数据与真实世界数据上最先进的BMF和共聚类方法的性能。

ABSTRACT

Low rank representation of binary matrix is powerful in disentangling sparse individual-attribute associations, and has received wide applications. Existing binary matrix factorization (BMF) or co-clustering (CC) methods often assume i.i.d background noise. However, this assumption could be easily violated in real data, where heterogeneous row- or column-wise probability of binary entries results in disparate element-wise background distribution, and paralyzes the rationality of existing methods. We propose a binary data denoising framework, namely BIND, which optimizes the detection of true patterns by estimating the row- or column-wise mixture distribution of patterns and disparate background, and eliminating the binary attributes that are more likely from the background. BIND is supported by thoroughly derived mathematical property of the row- and column-wise mixture distributions. Our experiment on synthetic and real-world data demonstrated BIND effectively removes background noise and drastically increases the fairness and accuracy of state-of-the arts BMF and CC methods.

研究动机与目标

• 解决现实世界数据中由于异质、非独立同分布背景噪声导致的二值矩阵分解（BMF）和共聚类（CC）中的公平性问题。
• 识别并移除更可能源于个体层面偏差（如用户活跃度或物品受欢迎度）而非真实潜在模式的二值属性。
• 开发一种可泛化的去噪框架，提升现有BMF和CC方法的性能，且无需算法重实现。
• 为二值矩阵中模式与背景概率的行和列混合分布提供严谨的数学推导。

提出的方法

• 将观测到的二值矩阵建模为真实秩-1模式、具有行和列概率的异质背景矩阵以及i.i.d.噪声的组合。
• 通过经验频率估计每行和每列中1值的边缘概率，以推断背景分布。
• 应用基于分位数的偏移函数，检测其背景相比1值过度代表的行和列，识别潜在的真实模式。
• 使用阈值机制选择高信号行和列，形成用于下游BMF或CC分析的去噪子矩阵。
• 将去噪步骤作为预处理层集成，可应用于任何现有BMF或CC算法。
• 利用混合分布的数学性质，证明去噪过程的统计有效性。

实验结果

研究问题

• RQ1 由用户活跃度或物品受欢迎度等个体层面偏差引起的异质背景噪声，如何影响现有BMF和CC方法的公平性与准确性？
• RQ2 一种基于数据的去噪框架，若能对非独立同分布的背景分布进行建模，是否能提升二值矩阵中真实秩-1子矩阵的检测效果？
• RQ3 所提出的BIND框架在合成数据与真实世界数据上，对最先进的BMF和CC方法性能提升的幅度如何？
• RQ4 该框架如何在推荐系统等真实应用场景中实现更好的可解释性与稳定性？

主要发现

• 与非去噪基线（τ=0）相比，BIND在所有合成数据场景下平均将Jaccard指数提高了2.6倍。
• 与LOM BMF方法结合时，BIND在模式检测中平均使Jaccard指数提高了7.5倍，显示出显著的准确性提升。
• 与Biclust CC方法结合时，BIND平均使Jaccard指数提高了2.6倍，证实了在不同算法范式下的一致性能增益。
• 在Movielens数据上，去噪区域（I¹）表现出最稳定的用户评分行为，跨电影类别的分散度最小，表明用户偏好更具一致性和可解释性。
• 高信号区域（I¹）的用户整体活跃度更高，但类别多样性更低，表明具有针对性推荐的潜力。
• 框架有效将真实模式与背景噪声分离，证据来自合成与真实世界场景下模式恢复的改善及假阳性减少。