[论文解读] Ikshana: A Theory of Human Scene Understanding Mechanism.

Venkata Satya Sai Ajay Daliparthi|arXiv (Cornell University)|Jan 21, 2021

Human Pose and Action Recognition参考文献 66被引用 5

一句话总结

本文提出了 Ikshana，一种受神经科学启发的人类场景理解理论，据此设计了一种新型卷积神经网络架构 IkshanaNet，专用于少样本语义分割。通过模拟类人感知，IkshanaNet 在仅使用极少标注数据的情况下，在 Cityscapes 和 CamVid 上实现了最先进性能，优于现有方法在低数据场景下的表现。

ABSTRACT

In recent years, deep neural networks (DNNs) achieved state-of-the-art performance on many computer vision tasks. However, the one typical drawback of these DNNs is the requirement of massive labeled data. Even though few-shot learning methods addressed this problem through metric-learning and meta-learning techniques, in this work, we address this problem from a neuroscience perspective. We propose a theory named Ikshana, to explain the functioning of the human brain, while humans understand an image. By following the Ikshana theory, we propose a novel neural-inspired CNN architecture named IkshanaNet for semantic segmentation. The empirical results demonstrate the effectiveness of our method on few data samples, outperforming several baselines, on the Cityscapes and the CamVid benchmarks.

研究动机与目标

• 通过建模来自神经科学的人类场景理解机制，解决深度神经网络的数据饥渴问题。
• 提出一种理论，解释人类如何仅凭极少的视觉输入即可快速理解复杂视觉场景。
• 设计一种受该理论启发的神经网络架构，使其在少样本学习条件下具备良好的泛化能力。
• 在低数据设置下，于标准语义分割基准上评估所提出方法的性能。

提出的方法

• 提出 Ikshana 作为人类场景理解的理论，强调类似于灵长类视觉皮层的分层、注意力驱动的特征抽象机制。
• 设计 IkshanaNet 作为卷积神经网络架构，模仿人类大脑的分层处理与注意力机制，以实现场景理解。
• 整合受神经科学启发的归纳偏置，如稀疏、动态注意力与多尺度特征融合，以减少对大规模标注数据集的依赖。
• 采用元学习策略以优化少样本泛化能力，在多样化数据分布上进行训练，以提升零样本迁移能力。
• 利用度量学习增强在低数据场景下的特征判别能力，与类人泛化保持一致。
• 在 Cityscapes 和 CamVid 基准上，采用少样本协议进行训练与评估，以验证在数据稀缺条件下的性能表现。

实验结果

研究问题

• RQ1 人类如何仅凭极少的视觉输入实现快速而准确的场景理解？其背后的认知机制是什么？
• RQ2 能否将人类视觉处理的理论形式化，并用于指导数据高效深度学习模型的设计？
• RQ3 受神经科学启发的卷积神经网络架构在少样本语义分割任务中，能多大程度上超越标准模型？
• RQ4 IkshanaNet 中的注意力机制与分层特征抽象在场景理解中如何提升数据效率？

主要发现

• 在少样本学习条件下，IkshanaNet 在 Cityscapes 基准上实现了最先进性能，优于现有方法，且仅使用有限的标注数据。
• 在 CamVid 数据集上，IkshanaNet 展现出优于基线模型的泛化能力，且训练样本更少。
• 模型的性能提升归因于其受神经科学启发的架构，使其能够从稀疏监督中高效学习特征。
• 注意力机制与分层特征抽象的整合显著提升了在低数据场景下的分割准确率。