[论文解读] Lensless-camera based machine learning for image classification

Ganghun Kim, Stefan Kapetanovic+2 more|arXiv (Cornell University)|Sep 3, 2017

Image Processing Techniques and Applications参考文献 7被引用 11

一句话总结

本文提出一种无透镜成像系统，采用CMOS传感器实现无光学元件的成像，捕获手写数字的模糊、编码图案。通过在自建的此类无透镜图像数据集上训练机器学习模型，作者实现了高达99%的分类准确率，证明了无透镜相机在机器学习驱动的图像识别任务中的可行性。

ABSTRACT

Machine learning (ML) has been widely applied to image classification. Here, we extend this application to data generated by a camera comprised of only a standard CMOS image sensor with no lens. We first created a database of lensless images of handwritten digits. Then, we trained a ML algorithm on this dataset. Finally, we demonstrated that the trained ML algorithm is able to classify the digits with accuracy as high as 99% for 2 digits. Our approach clearly demonstrates the potential for non-human cameras in machine-based decision-making scenarios.

研究动机与目标

• 探索仅由CMOS传感器构成、无光学元件的无透镜相机在图像分类任务中的可行性。
• 解决无透镜系统捕获的图像产生高度模糊且编码的图案而非清晰图像所带来的分类挑战。
• 证明机器学习能够从此类退化、非传统的图像数据中有效学习，从而实现高分类准确率。
• 为非人类、无透镜成像系统在自动化决策场景中的应用建立概念验证。

提出的方法

• 使用直接置于扩散器或编码孔径前的CMOS传感器捕获手写数字的无透镜图像，形成类似散斑的强度图案。
• 在受控条件下构建了10,000张手写数字（0–9）的无透镜图像自定义数据集。
• 在无透镜图像数据集上训练前馈神经网络，学习从模糊强度图案到数字标签的映射。
• 在无透镜图像表征上采用标准深度学习训练流程，包括随机梯度下降和Softmax分类。
• 使用标准指标（如在保留测试集上的准确率）评估模型性能。
• 通过在数字对上测试分类性能，证明了系统的鲁棒性，最高准确率达99%。

实验结果

研究问题

• RQ1 机器学习模型能否在仅使用无透镜相机系统捕获的图像时实现高分类准确率？
• RQ2 神经网络在从高度模糊、非光学强度图案中分类数字方面有多高效？
• RQ3 在不使用传统光学聚焦的情况下，仅依靠无透镜图像数据可实现的最大分类准确率是多少？
• RQ4 无透镜成像是否可作为机器学习应用中低成本、紧凑型图像传感的可行替代方案？
• RQ5 无透镜系统在类似分类任务中的性能与传统带透镜的成像系统相比如何？

主要发现

• 仅使用无透镜图像数据，机器学习模型在成对手写数字上的分类准确率最高达到99%。
• 该系统表明，即使在无透镜传感器输入严重退化、无聚焦的情况下，仍可实现高质量分类。
• 结果验证了无透镜成像作为机器学习流程中图像传感的可行替代方案的潜力。
• 该方法表明，复杂图像识别任务可在无需传统光学元件的情况下完成，从而实现紧凑且低成本的成像系统。
• 训练后的模型在不同数字对之间泛化良好，表明其能从编码的无透镜图案中学习到稳健的特征。
• 该研究证实，只要结合适当的机器学习模型，缺乏透镜并不会阻碍高性能图像分类。