[论文解读] Domain Adaptive Neural Networks for Object Recognition
本文提出领域自适应神经网络（DaNN），采用最大均值差异（MMD）作为正则化损失，以减少深度神经网络潜在空间中源域与目标域之间的分布差异。该方法在使用原始图像像素的情况下，在Office数据集上实现了最先进性能，优于基于SVM的基线模型以及近期的GFK和TSC等模型，尤其在结合去噪自编码器（DAE）预训练时表现更优。
We propose a simple neural network model to deal with the domain adaptation problem in object recognition. Our model incorporates the Maximum Mean Discrepancy (MMD) measure as a regularization in the supervised learning to reduce the distribution mismatch between the source and target domains in the latent space. From experiments, we demonstrate that the MMD regularization is an effective tool to provide good domain adaptation models on both SURF features and raw image pixels of a particular image data set. We also show that our proposed model, preceded by the denoising auto-encoder pretraining, achieves better performance than recent benchmark models on the same data sets. This work represents the first study of MMD measure in the context of neural networks.
研究动机与目标
- 解决训练数据与测试数据来自不同分布时的目标识别中的领域偏移问题。
- 在不依赖SURF等手工设计特征的前提下，减少源域与目标域之间的分布差异。
- 探究最大均值差异（MMD）作为深度神经网络中领域自适应正则化的有效性。
- 评估去噪自编码器（DAE）预训练是否能提升领域自适应神经网络的性能。
- 建立一个简单但有效的神经网络框架，用于在原始图像像素上进行领域自适应。
提出的方法
- 引入一种带有MMD正则化的神经网络模型，以对齐源域与目标域隐藏层的表征。
- 使用MMD作为潜在空间中两个领域之间分布差异的非参数度量。
- 基于通用再生核希尔伯特空间（RKHS）中的单位球，采用核化MMD估计器。
- 在反向传播过程中应用MMD正则化，以最小化源域与目标域特征之间的分布差距。
- 在端到端微调前，使用去噪自编码器（DAE）对网络进行预训练。
- 以原始图像像素作为输入，避免依赖SURF等手工设计特征。
实验结果
研究问题
- RQ1MMD正则化是否能有效减少深度神经网络在目标识别中的领域偏移？
- RQ2在使用原始图像像素时，所提出的DaNN模型是否在Office数据集上优于现有的领域自适应方法？
- RQ3DAE预训练如何影响领域自适应神经网络的性能？
- RQ4MMD正则化在无监督还是半监督领域自适应设置中更有效？
- RQ5带有MMD正则化的深度神经网络是否能在无需手工特征提取器的情况下实现良好泛化？
主要发现
- 使用MMD正则化的DaNN模型在Office数据集上实现了最先进性能，优于基于SVM的基线模型以及GFK和TSC等模型，在所有领域自适应配对中均表现更优。
- 当使用原始图像像素作为输入时，结合DAE预训练的DaNN在dslr域上实现了77.9%的平均准确率，超过了在同一域上最佳的域内性能74.2%。
- MMD正则化在无监督设置中显著提升了性能，其中在W→D（网络摄像头到dslr）配对中性能提升最大。
- 在半监督设置中，DaNN与标准神经网络之间的性能差距缩小，表明标注的目标数据减少了MMD正则化的相对收益。
- DAE预训练在所有领域配对中均一致提升了性能，尤其在与MMD正则化结合时效果更显著。
- 该模型表明，即使不使用手工特征，MMD正则化依然有效，直接在原始像素上即可取得优异结果。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。