[论文解读] M-PACT: Michigan Platform for Activity Classification in Tensorflow.

Eric Hofesmann, Madan Ravi Ganesh+1 more|arXiv (Cornell University)|Apr 16, 2018

Human Pose and Action Recognition被引用 3

一句话总结

M-PACT 是一个基于 TensorFlow 的统一平台，通过抽象复杂的管道配置，简化了动作分类任务，使用户仅需极少输入即可快速原型化最先进（SOTA）模型。该平台支持四种 SOTA 模型——C3D、TSN、I3D 和 ResNet50+LSTM，在 UCF101 数据集上 C3D 达到 93.66% 的准确率，TSN 达到 85.25% 的准确率，通过模块化、可重用的组件实现数据加载、训练和日志记录的简化流程。

ABSTRACT

Action classification is a widely known and popular task that offers an approach towards video understanding. The absence of an easy-to-use platform containing state-of-the-art (SOTA) models presents an issue for the community. Given that individual research code is not written with an end user in mind and in certain cases code is not released, even for published articles, the importance of a common unified platform capable of delivering results while removing the burden of developing an entire system cannot be overstated. To try and overcome these issues, we develop a tensorflow-based unified platform to abstract away unnecessary overheads in terms of an end-to-end pipeline setup in order to allow the user to quickly and easily prototype action classification models. With the use of a consistent coding style across different models and seamless data flow between various submodules, the platform lends itself to the quick generation of results on a wide range of SOTA methods across a variety of datasets. All of these features are made possible through the use of fully pre-defined training and testing blocks built on top of a small but powerful set of modular functions that handle asynchronous data loading, model initializations, metric calculations, saving and loading of checkpoints, and logging of results. The platform is geared towards easily creating models, with the minimum requirement being the definition of a network architecture and preprocessing steps from a large custom selection of layers and preprocessing functions. M-PACT currently houses four SOTA activity classification models which include, I3D, C3D, ResNet50+LSTM and TSN. The classification performance achieved by these models are, 43.86% for ResNet50+LSTM on HMDB51 while C3D and TSN achieve 93.66% and 85.25% on UCF101 respectively.

研究动机与目标

• 解决当前动作分类领域缺乏可访问、统一的平台问题，这些平台能整合最先进模型并减少实现复杂度。
• 提供一个用户友好、模块化的框架，抽象化复杂管道配置，如数据加载、模型训练和检查点管理。
• 使研究人员和实践者能够仅用极少代码和配置，在多个数据集上快速原型化和评估最先进模型。
• 通过一致的编码实践和可重用的训练、评估与日志组件，实现模型间实现的标准化。
• 通过提供集中化平台支持多种最先进架构和数据集，提升实现的可复现性和可访问性。

提出的方法

• 该平台基于 TensorFlow 构建，采用模块化设计，通过预定义的训练和测试模块处理异步数据加载、模型初始化和指标计算。
• 使用少量强大且可重用的函数管理检查点、日志记录以及子模块间的数据流，从而减少样板代码。
• 用户仅需从大型预实现层和函数库中定义自定义网络架构和预处理步骤。
• 通过一致接口支持多种模型的无缝集成，包括 I3D、C3D、ResNet50+LSTM 和 TSN。
• 所有组件均设计为互操作，使用户能以极少配置在不同数据集和架构间快速实验。
• 平台通过在所有模型和模块中强制执行标准化编码风格，确保可复现性和易用性。

实验结果

研究问题

• RQ1 一个统一且模块化的平台是否能显著减少原型化和评估最先进动作分类模型所需的工作量？
• RQ2 标准化且可重用的框架在多大程度上提升了视频动作分类研究中的可复现性和可访问性？
• RQ3 该平台在支持跨多个基准数据集快速实验多种最先进模型方面效果如何？
• RQ4 在统一框架中，通过优化数据加载和训练管道，能否实现显著的性能提升或效率改进？
• RQ5 仅通过最小用户输入（网络架构和预处理步骤）是否能获得与已发表最先进模型相当的性能？

主要发现

• M-PACT 平台通过仅需用户定义网络架构和预处理步骤，实现了动作分类模型的快速原型化，且用户自定义代码极少。
• C3D 在 UCF101 数据集上实现了 93.66% 的最先进准确率，证明了该平台在模型性能上的强大表现。
• TSN 在 UCF101 上达到 85.25% 的准确率，证实了平台能够复现标准模型的竞争力结果。
• ResNet50+LSTM 在 HMDB51 上达到 43.86% 的准确率，表明平台支持在不同基准数据集上运行多样化架构。
• 模块化设计和预构建组件显著降低了搭建训练管道的开销，提升了开发速度和可复现性。
• 该平台成功抽象了异步数据加载、检查点管理与日志记录等复杂管道组件，使用户能专注于模型创新。