[논문 리뷰] M-PACT: Michigan Platform for Activity Classification in Tensorflow.

Eric Hofesmann, Madan Ravi Ganesh외 1명|arXiv (Cornell University)|2018. 04. 16.

Human Pose and Action Recognition인용 수 3

한 줄 요약

M-PACT는 복잡한 파이프라인 설정을 추상화하여 행동 분류를 단순화하는 텐서플로우 기반의 통합 플랫폼입니다. 최소한의 사용자 입력으로 최신 기술 모델의 빠른 프로토타이핑을 가능하게 하며, 네 가지 최신 기술 모델(C3D, TSN, I3D, ResNet50+LSTM)을 지원합니다. UCF101에서 C3D 모델로 93.66%의 정확도와 TSN으로 85.25%의 정확도를 기록했으며, 모듈식이고 재사용 가능한 구성 요소를 통해 간편한 데이터 로딩, 학습 및 로깅을 제공합니다.

ABSTRACT

Action classification is a widely known and popular task that offers an approach towards video understanding. The absence of an easy-to-use platform containing state-of-the-art (SOTA) models presents an issue for the community. Given that individual research code is not written with an end user in mind and in certain cases code is not released, even for published articles, the importance of a common unified platform capable of delivering results while removing the burden of developing an entire system cannot be overstated. To try and overcome these issues, we develop a tensorflow-based unified platform to abstract away unnecessary overheads in terms of an end-to-end pipeline setup in order to allow the user to quickly and easily prototype action classification models. With the use of a consistent coding style across different models and seamless data flow between various submodules, the platform lends itself to the quick generation of results on a wide range of SOTA methods across a variety of datasets. All of these features are made possible through the use of fully pre-defined training and testing blocks built on top of a small but powerful set of modular functions that handle asynchronous data loading, model initializations, metric calculations, saving and loading of checkpoints, and logging of results. The platform is geared towards easily creating models, with the minimum requirement being the definition of a network architecture and preprocessing steps from a large custom selection of layers and preprocessing functions. M-PACT currently houses four SOTA activity classification models which include, I3D, C3D, ResNet50+LSTM and TSN. The classification performance achieved by these models are, 43.86% for ResNet50+LSTM on HMDB51 while C3D and TSN achieve 93.66% and 85.25% on UCF101 respectively.

연구 동기 및 목표

• 최신 기술 모델을 통합하고 구현 오버헤드를 줄이는 접근 가능하고 통합된 플랫폼의 부족을 해결하기 위해.
• 데이터 로딩, 모델 학습, 체크포인트 관리와 같은 복잡한 파이프라인 설정을 추상화하는 사용자 友好的이고 모듈식인 프레임워크를 제공하기 위해.
• 최소한의 코드와 설정으로 다양한 데이터셋에서 최신 기술 모델을 빠르게 프로토타이핑하고 평가할 수 있도록 하기 위해.
• 학습, 평가 및 로깅을 위한 일관된 프로그래밍 스타일과 재사용 가능한 구성 요소를 사용해 모든 모델 간의 표준화된 구현을 위해.
• 중앙 집중식 플랫폼을 통해 복수의 최신 기술 아키텍처와 데이터셋을 지원함으로써 재현 가능성과 접근성을 향상시키기 위해.

제안 방법

• 플랫폼은 텐서플로우 기반으로 구축되었으며, 비동기적 데이터 로딩, 모델 초기화, 메트릭 계산을 처리하기 위해 사전 정의된 학습 및 테스트 블록을 사용하는 모듈식 설계를 채택했습니다.
• 체크포인트 관리, 로깅, 서브모듈 간 데이터 흐름을 제어하기 위해 소수의 강력하고 재사용 가능한 기능을 활용하여 반복 코드를 줄였습니다.
• 사용자는 대규모 사전 구현된 레이어와 기능 라이브러리에서 제공하는 전처리 단계와 맞춤형 네트워크 아키텍처만 정의하면 됩니다.
• 일관된 인터페이스를 통해 I3D, C3D, ResNet50+LSTM, TSN과 같은 다양한 모델을 원활하게 통합할 수 있도록 지원합니다.
• 모든 구성 요소는 상호 운용성을 고려해 설계되어, 최소한의 설정으로 다양한 데이터셋과 아키텍처 간의 빠른 실험을 가능하게 합니다.
• 모든 모델과 모듈에서 일관된 프로그래밍 스타일을 적용함으로써 재현 가능성과 사용 용이성을 확보합니다.

실험 결과

연구 질문

• RQ1 통합적이고 모듈식 플랫폼이 최신 기술 행동 분류 모델을 프로토타이핑하고 평가하는 데 필요한 노력의 양을 크게 줄일 수 있는가?
• RQ2 표준화되고 재사용 가능한 프레임워크가 영상 행동 분류 연구 분야에서 재현 가능성과 접근성 향상에 얼마나 기여하는가?
• RQ3 다양한 최신 기술 모델을 여러 기준 데이터셋에서 빠르게 실험할 수 있도록 플랫폼이 얼마나 효과적인가?
• RQ4 통합 프레임워크 내에서 간소화된 데이터 로딩 및 학습 파이프라인을 통해 달성할 수 있는 성능 향상 또는 효율성 개선은 무엇인가?
• RQ5 최소한의 사용자 입력(네트워크 아키텍처와 전처리)으로도 출판된 최신 기술 모델과 비교할 만한 결과를 달성할 수 있는가?

주요 결과

• M-PACT 플랫폼은 사용자가 정의한 코드를 최소화하고 네트워크 아키텍처와 전처리 단계만 설정함으로써 행동 분류 모델의 빠른 프로토타이핑을 가능하게 합니다.
• C3D는 UCF101 데이터셋에서 93.66%의 최신 기술 정확도를 기록하여 플랫폼 내에서 뛰어난 성능을 입증했습니다.
• TSN은 UCF101에서 85.25%의 정확도를 기록하여 표준 모델을 사용할 때도 경쟁 가능한 결과를 재현할 수 있음을 확인했습니다.
• ResNet50+LSTM는 HMDB51에서 43.86%의 정확도를 기록하여 플랫폼이 다양한 아키텍처와 기준 데이터셋을 지원함을 보여주었습니다.
• 모듈식 설계와 사전 구축된 구성 요소는 학습 파이프라인 설정의 오버헤드를 크게 줄여 개발 속도와 재현 가능성을 향상시켰습니다.
• 비동기적 데이터 로딩, 체크포인트 관리, 로깅과 같은 복잡한 파이프라인 구성 요소를 성공적으로 추상화하여 모델 혁신에 집중할 수 있도록 했습니다.