[论文解读] Collaborative Representation Learning.

Matías Vera, Leonardo Rey Vega+1 more|arXiv (Cornell University)|Apr 5, 2016

Bayesian Methods and Mixture Models参考文献 28被引用 6

一句话总结

本文提出了一种信息论框架用于协作表征学习，引入了双向协作表征学习（TW-CRL）和协作分布式表征学习（CDRL），通过有限通信建模统计依赖性。推导了复杂性-相关性区域的内界和外界界，对二元对称和高斯模型进行了最优性表征。

ABSTRACT

This paper investigates an information-theoretic approach to the problem of collaborative representation learning: how to extract salient features of statistical relationships in order to build cooperatively meaningful representations of some relevant content. Modeling the structure of data and its hidden representations by independently identically distributed samples, our goal is to study fundamental limits of the so-called Two-way Collaborative Representation Learning (TW-CRL) and the Collaborative Distributed Representation Learning (CDRL) problems. The TW-CRL problem consists of two distant encoders that separately observe marginal (dependent) components $X_1$ and $X_2$ and can cooperate through multiple exchanges of limited information with the aim of learning hidden representations $(Y_1,Y_2)$, which can be arbitrarily dependent on $(X_1,X_2)$. On the other hand, in CDRL there are two cooperating encoders and the learner of the hidden representation $Y$ is a third node which can listen the exchanges between the two encoders. The relevance (figure-of-merit) of such learned representations is measured in terms of a normalized (per-sample) multi-letter mutual information metric. Inner and outer bounds to the complexity-relevance region of these problems are derived from which optimality is characterized for several cases of interest. Our resulting complexity-relevance regions are finally evaluated for binary symmetric and Gaussian statistical models showing how to identify comparatively random features that represent complexity-constrained statistics for the inference of the hidden representations.

研究动机与目标

• 为了建模在编码器之间通信受限的协作表征学习的基本极限。
• 为了研究如何从依赖的边缘观测中通过互信息作为相关性度量，协同学习隐式表征。
• 为了表征TW-CRL和CDRL框架中表征复杂性与相关性之间的权衡。
• 为了为一般统计模型推导复杂性-相关性区域的内界和外界界。
• 为了在特定模型（二元对称和高斯模型）上评估理论边界，识别复杂性受限的有信息量特征。

提出的方法

• 使用独立同分布样本对数据和隐式表征进行建模，假设边际分量$X_1$和$X_2$之间存在统计依赖性。
• 引入双向协作表征学习（TW-CRL）模型，其中两个远距离编码器通过有限信息交换联合学习表征$(Y_1, Y_2)$。
• 提出协作分布式表征学习（CDRL）模型，其中第三个节点观察编码器之间的信息交换，以学习共享表征$Y$。
• 使用归一化的、按样本的多字母互信息度量来量化所学表征的相关性。
• 利用信息论技术推导复杂性-相关性区域的内界和外界界，包括对互信息项的边界估计。
• 将该框架应用于二元对称和高斯模型，以评估可实现性能并识别在复杂性约束下的随机特征。

实验结果

研究问题

• RQ1 当编码器之间的通信受限时，协作表征学习的基本极限是什么？
• RQ2 边际分量之间统计依赖性的结构如何影响TW-CRL和CDRL中的复杂性-相关性权衡？
• RQ3 在哪些情况下可证明推导出的内界和外界界为紧致，从而表明最优性？
• RQ4 在相同的统计假设下，TW-CRL和CDRL的复杂性-相关性区域有何不同？
• RQ5 在二元对称和高斯模型中，复杂性约束下哪些类型的随机特征可作为最优特征？

主要发现

• 为TW-CRL和CDRL分别推导了复杂性-相关性区域的内界和外界界，为通信受限下表征质量提供了理论极限。
• 对于二元对称模型，该框架识别出特定的随机特征，代表了最优复杂性受限表征。
• 在高斯模型中，分析表明最优表征由特定的互信息约束和信噪比所表征。
• 归一化的多字母互信息度量成功量化了相关性，使得不同表征方案之间的公平比较成为可能。
• 在多种情况下表征了最优性，包括对称和退化情形，此时边界一致。
• 结果表明，协作学习在给定复杂性水平下可实现比非协作方法更高的相关性。