[论文解读] Compositional Hierarchical Tensor Factorization: Representing Hierarchical Intrinsic and Extrinsic Causal Factors

M. Alex O. Vasilescu, Eui Hyeok Kim|arXiv (Cornell University)|Nov 11, 2019

Tensor decomposition and applications参考文献 67被引用 11

一句话总结

本文提出了一种组合式分层张量分解（CHTF），通过整体与部分的统一张量模型，将视觉物体外观中的内在因素（例如形状、反照率）与外在因素（例如光照、视角）的因果因素解耦。通过从极少量的合成数据中学习统计上不变的分层表征，该方法在LFW数据集上实现了79.8%的人脸验证准确率——与使用100倍以上数据的DeepFace的97.35%准确率相比，表现极为接近，证明了其在遮挡和数据稀缺情况下的鲁棒性。

ABSTRACT

Visual objects are composed of a recursive hierarchy of perceptual wholes and parts, whose properties, such as shape, reflectance, and color, constitute a hierarchy of intrinsic causal factors of object appearance. However, object appearance is the compositional consequence of both an object's intrinsic and extrinsic causal factors, where the extrinsic causal factors are related to illumination, and imaging conditions. Therefore, this paper proposes a unified tensor model of wholes and parts, and introduces a compositional hierarchical tensor factorization that disentangles the hierarchical causal structure of object image formation, and subsumes multilinear block tensor decomposition as a special case. The resulting object representation is an interpretable combinatorial choice of wholes' and parts' representations that renders object recognition robust to occlusion and reduces training data requirements. We demonstrate ourapproach in the context of face recognition by training on an extremely reduced dataset of synthetic images, and report encouragingface verification results on two datasets - the Freiburg dataset, andthe Labeled Face in the Wild (LFW) dataset consisting of real world images, thus, substantiating the suitability of our approach for data starved domains.

研究动机与目标

• 将视觉物体建模为由内在和外在因果因素控制的感知整体与部分的递归层次结构。
• 开发一种统一的张量框架，以解耦图像形成过程中分层的内在与外在因果因素。
• 创建一种可解释的、组合式的物体外观表征，以增强对遮挡的鲁棒性并减少数据需求。
• 在低数据场景下验证该方法，特别是针对仅使用合成训练数据的人脸识别任务。
• 证明即使仅在合成数据上训练，该方法仍能泛化到真实世界、非受限的图像。

提出的方法

• 该方法使用分层张量模型，将物体外观建模为分层内在因素（整体与部分）与外在因素（光照、视角）之间的多重线性交互作用。
• 提出了一种组合式分层张量分解（CHTF），其推广了多重线性块张量分解，并支持因果因素的解耦。
• 该方法采用多重线性投影算法，从分解后的表征中计算复合个体签名，用于比较。
• 面部图像通过分段仿射变形预处理为模板，采用图像块上的自适应直方图均衡化进行光照归一化，并通过高斯/拉普拉斯滤波器进行卷积以构建图像金字塔。
• 从金字塔层中分割出部分区域，并使用加权最近邻分类器计算签名。
• 模型在100名受试者的合成3D渲染图像上进行训练，涵盖15种视角和15种光照条件，训练过程中未使用任何真实世界数据。

实验结果

研究问题

• RQ1 统一的张量模型能否有效表征视觉物体中整体与部分的分层组合？
• RQ2 组合式分层张量分解能否在图像形成过程中解耦内在与外在因果因素？
• RQ3 这种解耦表征能否在极少量训练数据下实现鲁棒的人脸识别？
• RQ4 尽管仅在合成数据上训练，该方法是否能泛化到真实世界、非受限的面部图像？
• RQ5 在数据极度有限的情况下，其性能与深度学习模型相比如何？

主要发现

• 该方法在Labeled Faces in the Wild（LFW）数据集上实现了79.8%的人脸验证准确率，该数据集为真实世界、非受限的基准测试集。
• 该结果仅使用了DeepFace所需训练数据的1%，而DeepFace在相同数据集上使用440万张图像实现了97.35%的准确率。
• 由于其解耦的分层表征，该模型在遮挡、姿态和光照变化方面表现出鲁棒性。
• 在低数据场景下，该方法优于标准卷积神经网络（CNNs），后者通常在数据不足时无法收敛或泛化。
• 从多重线性投影中导出的复合个体签名，实现了在多种成像条件下的有效比较。
• 结果证实，CHTF框架在数据匮乏领域（尤其是生物识别与物体识别）中具有高度适用性。