[论文解读] Automated Image Data Preprocessing with Deep Reinforcement Learning

Tran Ngoc Minh, Mathieu Sinn+2 more|arXiv (Cornell University)|Jun 15, 2018

Machine Learning and Data Classification参考文献 16被引用 8

一句话总结

该论文提出了一种深度强化学习框架，可自动为数据集中每张图像学习最优的、个性化的预处理变换链，通过联合优化分类器和预处理策略，对变换序列进行迭代的、实例特定的探索，从而在噪声数据上显著提升分类器的准确率和鲁棒性。

ABSTRACT

Data preparation, i.e. the process of transforming raw data into a format that can be used for training effective machine learning models, is a tedious and time-consuming task. For image data, preprocessing typically involves a sequence of basic transformations such as cropping, filtering, rotating or flipping images. Currently, data scientists decide manually based on their experience which transformations to apply in which particular order to a given image data set. Besides constituting a bottleneck in real-world data science projects, manual image data preprocessing may yield suboptimal results as data scientists need to rely on intuition or trial-and-error approaches when exploring the space of possible image transformations and thus might not be able to discover the most effective ones. To mitigate the inefficiency and potential ineffectiveness of manual data preprocessing, this paper proposes a deep reinforcement learning framework to automatically discover the optimal data preprocessing steps for training an image classifier. The framework takes as input sets of labeled images and predefined preprocessing transformations. It jointly learns the classifier and the optimal preprocessing transformations for individual images. Experimental results show that the proposed approach not only improves the accuracy of image classifiers, but also makes them substantially more robust to noisy inputs at test time.

研究动机与目标

• 解决手动图像数据预处理效率低下且结果次优的问题，该过程通常占数据科学项目时间的50–80%。
• 克服现有数据增强方法对所有数据实例应用统一变换的局限性，避免数据膨胀和低效预处理。
• 通过发现针对每张图像独特失真特征的最优变换序列（如旋转、翻转）实现每张图像的个性化预处理。
• 通过自动化、可解释的预处理提升模型在测试时对噪声输入的泛化能力和鲁棒性。
• 开发一个可扩展至其他非结构化数据类型（如文本和时间序列）的框架。

提出的方法

• 将图像预处理建模为使用深度强化学习的序列决策问题，其中每张图像通过学习到的变换链进行处理。
• 将状态空间定义为原始或失真的图像，动作空间定义为离散的预处理操作（例如，旋转±90°，水平/垂直翻转）。
• 使用深度Q网络（DQN）智能体学习一个策略，以选择能最大化预处理后图像分类准确率的变换。
• 通过联合优化图像分类器和预处理策略端到端训练智能体，奖励由分类性能塑造。
• 以迭代方式应用该框架：智能体选择一个变换，图像被预处理，该过程重复直至收敛或达到最大步数。
• 通过记录并追踪每张图像应用的完整变换链，确保可解释性，从而能够检查预处理决策。

实验结果

研究问题

• RQ1 强化学习智能体能否自动发现有效且实例特定的预处理变换链，从而提升图像分类器的性能？
• RQ2 在噪声图像数据集上，自动化、个性化预处理与传统数据增强方法相比，在准确率和鲁棒性方面表现如何？
• RQ3 该框架在多大程度上增强了模型对测试时噪声输入的鲁棒性？
• RQ4 该框架能否超越简单变换（如旋转、翻转）扩展到更复杂的操作，如可学习的旋转或基于目标的预处理？
• RQ5 与固定或全局增强策略相比，该迭代的、基于策略的预处理方法在提升模型泛化能力方面有何优势？

主要发现

• 所提出的强化学习框架显著提升了图像分类器的准确率，在MNIST数据集上使用Arch3时，测试准确率达到0.9826 ± 0.0014，远超标准神经网络基线的0.7563 ± 0.0024。
• 该框架增强了对噪声输入的鲁棒性，对于Arch2模型，在失真图像上的测试准确率达到0.8987 ± 0.0151，优于标准NN基线的0.7242 ± 0.0011。
• 通过可视化学习到的预处理路径，框架成功通过对称变换链将许多失真图像恢复为原始形态。
• 尽管性能优异，仍有少量图像因错误的变换链而被错误分类，表明需要改进探索策略或动作空间设计。
• 该框架的迭代式、实例特定方法避免了数据爆炸，保持了原始训练集大小的同时提升了模型泛化能力。
• 该方法通过记录并追踪每张图像应用的完整变换序列，提供了可解释性，使预处理决策可被检查。