[论文解读] Learning Robust Representations by Projecting Superficial Statistics Out

Haohan Wang, Zexue He+2 more|arXiv (Cornell University)|Mar 2, 2019

Domain Adaptation and Few-Shot Learning被引用 93

一句话总结

本文提出神经灰度共现矩阵（NGLCM），用于捕捉纹理；并提出 HEX 将纹理相关信号投射出去，从而在没有目标域数据的情况下实现领域泛化的改进。

ABSTRACT

Despite impressive performance as evaluated on i.i.d. holdout data, deep neural networks depend heavily on superficial statistics of the training data and are liable to break under distribution shift. For example, subtle changes to the background or texture of an image can break a seemingly powerful classifier. Building on previous work on domain generalization, we hope to produce a classifier that will generalize to previously unseen domains, even when domain identifiers are not available during training. This setting is challenging because the model may extract many distribution-specific (superficial) signals together with distribution-agnostic (semantic) signals. To overcome this challenge, we incorporate the gray-level co-occurrence matrix (GLCM) to extract patterns that our prior knowledge suggests are superficial: they are sensitive to the texture but unable to capture the gestalt of an image. Then we introduce two techniques for improving our networks' out-of-sample performance. The first method is built on the reverse gradient method that pushes our model to learn representations from which the GLCM representation is not predictable. The second method is built on the independence introduced by projecting the model's representation onto the subspace orthogonal to GLCM representation's. We test our method on the battery of standard domain generalization data sets and, interestingly, achieve comparable or better performance as compared to other domain generalization methods that explicitly require samples from the target distribution for training.

研究动机与目标

• 通过减少对纹理/背景等表层统计信息的依赖，激励能够在未见域上泛化的分类器的学习。
• 开发一个可微纹理专用特征提取器（NGLCM）以及一种在学习过程中丢弃纹理信息的方法（HEX）。
• 在合成与标准域泛化基准上演示其有效性，同时在训练阶段不使用目标域样本。
• 评估 HEX 与在各类数据集上的既有 DG 方法的对比表现。

提出的方法

• 引入神经灰度共现矩阵（NGLCM），作为一个可微分的块，在捕获纹理信息的同时避免语义内容。
• 定义 G = s(a; φ_a) s^T(b; φ_b)，其中 s 是一个带裁剪的、可微的阈值函数；将图像像素映射到纹理表示。
• 提出两种 HEX 策略：（i）对抗性地训练一个预测器从 h(X; θ) 中恢复 GLCM 特征并反向传播以迷惑它（ADV/ADVE），（ii）将 F_A 投影到 F_G 的正交补空间以获得 F_L（HEX）。
• 使用一个双分支架构，将原始表示 h(X; θ) 与纹理表示 g(X; φ) 结合以产生预测，在测试阶段使用变换后的表示 F_L。
• 在 MNIST 家族、带有合成干扰背景的人脸表情数据、MNIST 旋转以及 PACS 上进行实验，比较 HEX/ADV 相对于 DG 基线方法如 DANN 和 InfoDropout 的表现。

实验结果

研究问题

• RQ1 在没有标记目标域数据的情况下，是否可以让模型减少对表层统计信息的依赖？
• RQ2 可微纹理基表示（NGLCM）和基于投影的不变性（HEX）是否能提升对域外的性能，相较于现有的 DG 方法？
• RQ3 在合成与真实域移位基准（包括 PACS 与 MNIST-rotation）上，HEX 与 NGLCM 的表现如何？
• RQ4 在将 NGLCM/HEX 与主分类器联合训练时，存在的权衡和稳定性考虑有哪些？

主要发现

• NGLCM 主要捕获纹理信息，对语义数字识别并不有效，验证了其以纹理为焦点的角色。
• HEX 提高对多种分布偏移的鲁棒性，在若干基准测试中通常达到与需要目标域样本的 DG 方法（如 DANN、Fusion）相当或更优的性能。
• 在 MNIST-rotation 实验中，HEX 通常带来较强的平均性能，有时接近或超过最先进的领域泛化方法。
• 在 PACS 数据集上，HEX 与 Fusion 方法接近，同时参数远少，Art 和 Cartoon 域上表现尤为出色。
• 在合成干扰背景任务中，ADV 和 HEX 随域相关性强度的增加显示出稳定的改进，HEX 对对抗方法提供互补的好处。
• 作者讨论了局限性，包括 NGLCM 未能完全移除语义信息以及潜在的训练不稳定性，这通过训练启发式方法得到缓解。