[论文解读] Exploring Uncertainty in Conditional Multi-Modal Retrieval Systems

Ahmed Taha, Yi-Ting Chen+3 more|arXiv (Cornell University)|Jan 23, 2019

Human Pose and Action Recognition参考文献 52被引用 4

一句话总结

该论文将三元组损失重新表述为回归问题，以支持蒙特卡洛（MC）采样和通过 dropout 进行后验分布不确定性估计，应用于条件性多模态检索。提出了一种多模态条件检索网络，将不同相似性类型的嵌入解耦，实现在行人重识别任务上的最先进性能，并在本田驾驶数据集（HDD）的高不确定性自动驾驶场景中实现6%的性能提升。

ABSTRACT

We cast visual retrieval as a regression problem by posing triplet loss as a regression loss. This enables epistemic uncertainty estimation using dropout as a Bayesian approximation framework in retrieval. Accordingly, Monte Carlo (MC) sampling is leveraged to boost retrieval performance. Our approach is evaluated on two applications: person re-identification and autonomous car driving. Comparable state-of-the-art results are achieved on multiple datasets for the former application. We leverage the Honda driving dataset (HDD) for autonomous car driving application. It provides multiple modalities and similarity notions for ego-motion action understanding. Hence, we present a multi-modal conditional retrieval network. It disentangles embeddings into separate representations to encode different similarities. This form of joint learning eliminates the need to train multiple independent networks without any performance degradation. Quantitative evaluation highlights our approach competence, achieving 6% improvement in a highly uncertain environment.

研究动机与目标

• 通过将排序损失重新表述为回归问题，实现在检索系统中的不确定性估计。
• 通过蒙特卡洛采样提升在高不确定性环境（如自动驾驶）中的检索性能。
• 开发一种多模态条件检索框架，联合学习不同相似性概念（例如目标导向型与刺激驱动型动作）的表示。
• 通过在多个相似性类型之间共享表示学习，而非训练独立网络，降低计算成本并提高泛化能力。
• 在行人重识别和自主导航任务上评估该方法，证明其在不确定条件下的鲁棒性和性能提升。

提出的方法

• 将三元组损失重新表述为回归损失，以通过 dropout 实现贝叶斯近似，从而支持后验分布不确定性估计。
• 在推理阶段应用蒙特卡洛（MC）采样，通过在 dropout 激活状态下进行多次前向传播，聚合预测结果以降低不确定性。
• 采用条件相似性网络（CSN）将融合的多模态嵌入（例如摄像头和CAN传感器数据）解耦为不同相似性类型的独立表示。
• 使用平均融合方法在应用可学习掩码进行每种相似性类型的条件检索前，组合模态特定的特征。
• 在RNN层上使用 DropoutWrapper，以在时间序列检索任务中保持整个序列建模过程中的不确定性估计。
• 通过标准反向传播进行端到端训练，同时通过MC dropout推理实现不确定性量化。

实验结果

研究问题

• RQ1 三元组损失能否被有效重新表述为回归问题，以实现在检索系统中的不确定性估计？
• RQ2 在自动驾驶等高不确定性环境中的检索性能，蒙特卡洛采样结合 dropout 能在多大程度上提升？
• RQ3 单个多模态条件检索网络能否在不降低性能的前提下，联合学习多种相似性类型（如目标导向型与刺激驱动型动作）？
• RQ4 通过 MC dropout 进行不确定性估计，能在多大程度上提升对模糊或噪声较大的动作（如“为红灯停车”和“为拥堵停车”）的检索准确率？
• RQ5 在不同相似性类型之间共享表示学习，能否在不增加参数量或训练成本的前提下，降低计算成本并维持或提升性能？

主要发现

• 所提方法在 Market-1501 和 DukeMTMC-reID 行人重识别数据集上达到与当前最先进方法相当的性能。
• 在本田驾驶数据集（HDD）上，该方法在高度不确定的环境中实现了6%的检索性能提升。
• 对于刺激驱动型动作，使用100次采样的MC采样使宏平均精度（mAP）从基线的40.61提升至45.13，其中在高不确定性动作如“为拥堵停车”中提升最为显著，mAP从71.63提升至80.35。
• 检索结果的前两名对光照变化具有鲁棒性，并保持了环境布局的一致性，表明所学习嵌入具有强泛化能力和语义一致性。
• 该方法在模糊动作（如“为红灯停车”和“为拥堵停车”）上表现更优，此时视觉线索对区分相似动作至关重要。
• MC采样显著提升了性能，尤其在高不确定性场景中，且无需额外模型参数或训练，但以增加推理时间为代价。