[论文解读] Less is More: Rethinking Few-Shot Learning and Recurrent Neural Nets

Deborah Pereg, Martin Villiger+2 more|arXiv (Cornell University)|Sep 28, 2022

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出了一种低数据量、计算高效的RNN框架，用于少样本学习，通过利用渐近均分熵定理（AEP）识别紧凑且具代表性的数据子集。该方法仅使用一张训练图像，就在图像去模糊和OCT斑点抑制任务中实现了最先进性能，展现出优异的泛化能力，并在标准硬件上实现亚分钟级训练时间。

ABSTRACT

The statistical supervised learning framework assumes an input-output set with a joint probability distribution that is reliably represented by the training dataset. The learner is then required to output a prediction rule learned from the training dataset's input-output pairs. In this work, we provide meaningful insights into the asymptotic equipartition property (AEP) \citep{Shannon:1948} in the context of machine learning, and illuminate some of its potential ramifications for few-shot learning. We provide theoretical guarantees for reliable learning under the information-theoretic AEP, and for the generalization error with respect to the sample size. We then focus on a highly efficient recurrent neural net (RNN) framework and propose a reduced-entropy algorithm for few-shot learning. We also propose a mathematical intuition for the RNN as an approximation of a sparse coding solver. We verify the applicability, robustness, and computational efficiency of the proposed approach with image deblurring and optical coherence tomography (OCT) speckle suppression. Our experimental results demonstrate significant potential for improving learning models' sample efficiency, generalization, and time complexity, that can therefore be leveraged for practical real-time applications.

研究动机与目标

• 探究信息论中渐近均分熵定理（AEP）在少样本学习中的理论基础。
• 解决低数据量机器学习场景中泛化能力差与计算成本高的挑战，特别是在医学成像领域。
• 开发一种紧凑且高效的RNN框架，能够从极少训练数据中实现良好泛化，降低训练时间与资源需求。
• 为RNN提供数学解释，将其视为稀疏编码求解器，以解释其经验成功的原因。
• 在真实世界医学成像任务——图像去模糊与OCT斑点抑制——中验证该方法，涵盖数据与系统不匹配的情况。

提出的方法

• 通过AEP的理论分析，证明小而具代表性的数据子集可有效捕捉输入-输出分布，从而实现在少量样本下的可靠学习。
• 提出一种紧凑的RNN架构，仅在单张图像上进行训练，用于执行如去模糊与斑点抑制等少样本图像恢复任务。
• 将RNN解释为稀疏编码求解器，通过从上一时刻状态导出的初始状态，迭代优化预测结果。
• 在RNN中集成感受野归一化（RFN），以降低输入数据分布的熵，提升在噪声或不匹配条件下的鲁棒性。
• 采用标准损失函数端到端训练框架，收敛时间在700次迭代以内。
• 将该方法应用于合成与真实OCT数据，包括组织与系统不匹配的情况，以测试其泛化能力。

实验结果

研究问题

• RQ1 能否利用渐近均分熵定理（AEP）识别出最小且具代表性的数据子集，以实现可靠的少样本学习？
• RQ2 在少样本学习背景下，RNN如何被解释为稀疏编码求解器的近似？
• RQ3 单张图像训练设置在医学成像任务中，对不同组织类型与成像系统具有多大程度的泛化能力？
• RQ4 在极低数据量与低计算成本下训练的RNN框架，其计算效率与泛化性能如何？
• RQ5 感受野归一化（RFN）是否能提升在噪声或不匹配数据场景下的鲁棒性？

主要发现

• 所提出的RNN框架在OCT成像中实现了显著的斑点抑制效果，蓝莓组织的PSNR达到31.1 dB，黄瓜组织达到31.34 dB，即使存在组织与系统不匹配的情况。
• 训练在700次迭代内收敛，仅需4.56秒（笔记本GPU）与35秒（CPU工作站），展现出极高的计算效率。
• 该方法在不同组织类型与成像系统间表现出良好泛化能力，即使在不匹配条件下仍保持高视觉质量与结构保真度。
• 理论分析证实，在AEP条件下，小而具代表性的数据子集可可靠表示完整输入-输出分布，从而实现少量样本下的鲁棒学习。
• 集成RFN的RNN框架降低了输入分布熵，显著提升了在噪声环境下的性能，并增强了恢复任务的视觉质量。
• 将RNN解释为稀疏编码求解器，为其实现少样本学习的成功提供了数学直觉，揭示了其架构与优化行为之间的关联。