[論文レビュー] M-PACT: Michigan Platform for Activity Classification in Tensorflow.

Eric Hofesmann, Madan Ravi Ganesh+1 more|arXiv (Cornell University)|Apr 16, 2018

Human Pose and Action Recognition被引用数 3

ひとこと要約

M-PACT は、複雑なパイプライン設定を抽象化することで、最小限のユーザー入力で最先端のモデルの迅速なプロトタイピングを可能にする、TensorFlow ベースの統合プラットフォームです。4 つの最先端モデル（C3D、TSN、I3D、ResNet50+LSTM）をサポートし、UCF101 で C3D で 93.66% の精度、TSN で 85.25% の精度を達成しています。モジュラーで再利用可能なコンponents を通じて、データ読み込み、学習、ログ記録を簡素化しています。

ABSTRACT

Action classification is a widely known and popular task that offers an approach towards video understanding. The absence of an easy-to-use platform containing state-of-the-art (SOTA) models presents an issue for the community. Given that individual research code is not written with an end user in mind and in certain cases code is not released, even for published articles, the importance of a common unified platform capable of delivering results while removing the burden of developing an entire system cannot be overstated. To try and overcome these issues, we develop a tensorflow-based unified platform to abstract away unnecessary overheads in terms of an end-to-end pipeline setup in order to allow the user to quickly and easily prototype action classification models. With the use of a consistent coding style across different models and seamless data flow between various submodules, the platform lends itself to the quick generation of results on a wide range of SOTA methods across a variety of datasets. All of these features are made possible through the use of fully pre-defined training and testing blocks built on top of a small but powerful set of modular functions that handle asynchronous data loading, model initializations, metric calculations, saving and loading of checkpoints, and logging of results. The platform is geared towards easily creating models, with the minimum requirement being the definition of a network architecture and preprocessing steps from a large custom selection of layers and preprocessing functions. M-PACT currently houses four SOTA activity classification models which include, I3D, C3D, ResNet50+LSTM and TSN. The classification performance achieved by these models are, 43.86% for ResNet50+LSTM on HMDB51 while C3D and TSN achieve 93.66% and 85.25% on UCF101 respectively.

研究の動機と目的

• 最先端のモデルを統合し、実装の負荷を軽減する、アクセスしやすく統合された行動分類プラットフォームの不足を解消すること。
• データ読み込み、モデル学習、チェックポイント管理といった複雑なパイプライン設定を抽象化し、ユーザーフレンドリーでモジュラーなフレームワークを提供すること。
• 研究者や実務家が最小限のコードと設定で、複数のデータセットに対して最先端のモデルを迅速にプロトタイピングおよび評価できるようにすること。
• トレーニング、評価、ログ記録のための一貫したコーディングスタイルと再利用可能なコンponents を用いて、モデル間での実装を標準化すること。
• 複数の最先端アーキテクチャとデータセットをサポートする集中型プラットフォームを提供することで、再現性とアクセス性を向上させること。

提案手法

• プラットフォームは TensorFlow に基づき、非同期データ読み込み、モデル初期化、メトリクス計算を処理する、事前に定義されたトレーニングおよびテストブロックを備えたモジュラー設計を採用している。
• チェックポイント管理、ログ記録、サブモジュール間のデータフローを制御する、少数の強力で再利用可能な関数を用いることで、ボイラープレートコードを削減している。
• ユーザーは、多数の事前実装済みレイヤーと関数のライブラリから選択した前処理手順とカスタムネットワークアーキテクチャを定義するだけでよい。
• I3D、C3D、ResNet50+LSTM、TSN といった多様なモデルが、一貫したインターフェースを通じてシームレスに統合可能である。
• すべてのコンponents は相互運用性を考慮して設計されており、最小限の設定で、データセットやアーキテクチャを迅速に実験できる。
• すべてのモデルとモジュールで一貫したコーディングスタイルを強制することで、再現性と使いやすさを確保している。

実験結果

リサーチクエスチョン

• RQ1 統合的でモジュラーなプラットフォームは、最先端の行動分類モデルのプロトタイピングと評価に要する作業負荷を顕著に軽減できるか？
• RQ2 標準化され、再利用可能なフレームワークは、動画行動分類研究における再現性とアクセス性をどの程度向上させるか？
• RQ3 このプラットフォームは、複数のベンチマークデータセットで多様な最先端モデルを迅速に実験できるか？
• RQ4 統合フレームワークにおける簡素化されたデータ読み込みおよび学習パイプラインにより、どの程度のパフォーマンス向上や効率化が達成できるか？
• RQ5 最小限のユーザー入力（ネットワークアーキテクチャと前処理）で、発表済みの最先端モデルと同等の結果を達成できるか？

主な発見

• M-PACT プラットフォームは、ネットワークアーキテクチャと前処理手順を定義するだけで、最小限のユーザー定義コードで行動分類モデルの迅速なプロトタイピングを可能にしている。
• C3D は UCF101 データセットで 93.66% の最先端の精度を達成し、プラットフォーム内での強力なパフォーマンスを示している。
• TSN は UCF101 で 85.25% の精度を達成し、標準モデルで競争力のある結果を再現できる能力を確認している。
• ResNet50+LSTM は HMDB51 で 43.86% の精度を達成し、プラットフォームが異なるベンチマークデータセットで多様なアーキテクチャをサポートできることを示している。
• モジュラー設計と事前構築済みコンponents により、トレーニングパイプラインのセットアップにかかるオーバーヘッドが顕著に削減され、開発速度と再現性が向上している。
• 非同期データ読み込み、チェックポイント管理、ログ記録といった複雑なパイプラインコンponents を効果的に抽象化することで、モデルイノベーションに集中できるようになっている。