[논문 리뷰] LiteEval: A Coarse-to-Fine Framework for Resource Efficient Video Recognition

Zuxuan Wu, Caiming Xiong외 2명|arXiv (Cornell University)|2019. 12. 03.

Human Pose and Action Recognition인용 수 32

한 줄 요약

LiteEval는 자원 효율적인 비디오 인식을 위한 코arse-to-fine 프레임워크로, 조건부 게이팅 모듈에 의해 유도되어 경량 CNN을 사용해 코arse 특징을 추출하고, 필요할 경우에만 강력한 CNN을 사용해 정밀 특징을 계산함으로써 동적으로 계산을 할당한다. 이는 FCVID와 ActivityNet에서 각각 51.8%, 51.3%의 계산량 감소를 이루면서도 최신 기준 정확도를 달성하며, 온라인 및 오프라인 추론을 모두 지원한다.

ABSTRACT

This paper presents LiteEval, a simple yet effective coarse-to-fine framework for resource efficient video recognition, suitable for both online and offline scenarios. Exploiting decent yet computationally efficient features derived at a coarse scale with a lightweight CNN model, LiteEval dynamically decides on-the-fly whether to compute more powerful features for incoming video frames at a finer scale to obtain more details. This is achieved by a coarse LSTM and a fine LSTM operating cooperatively, as well as a conditional gating module to learn when to allocate more computation. Extensive experiments are conducted on two large-scale video benchmarks, FCVID and ActivityNet, and the results demonstrate LiteEval requires substantially less computation while offering excellent classification accuracy for both online and offline predictions.

연구 동기 및 목표

• 모바일 및 임베디드 시스템과 같은 자원 제약 환경에서 비디오 인식의 높은 계산 비용 문제를 해결한다.
• 모든 비디오 프레임에 동일한 처리를 적용하는 고정 계산 모델의 한계를 극복한다.
• 입력의 난이도에 따라 계산을 조절하는 적응형 추론을 통해 온라인 및 오프라인 비디오 분류를 가능하게 한다.
• 간단한 프레임에서는 불필요한 고복잡도 특징 계산을 피하여 에너지 소비를 줄이고 효율성을 향상시킨다.
• 실시간 배포와 추론 중 동적 결정을 가능하게 하는, 미분 가능하고 엔드 투 엔드로 훈련 가능한 프레임워크를 개발한다.

제안 방법

• 다운샘플된 비디오 프레임에서 경량 CNN을 사용해 코어스 특징을 추출하여 초기 처리를 효율적으로 수행한다.
• 코어스 특징 간의 시간적 맥락을 유지하기 위해 코어스 LSTM(cLSTM)을 활용한다.
• 코어스 특징과 은닉 상태를 바탕으로, 정밀 특징을 계산할지 여부를 결정하는 조건부 게이팅 모듈을 도입한다.
• 게이팅 모듈이 더 높은 정밀도가 필요하다고 판단할 경우에만 강력한 CNN을 사용해 세분화된 특징을 추출한다.
• 정밀 특징이 계산된 경우, 장기적 의존성을 모델링하기 위해 정밀 LSTM(fLSTM)을 사용하며, cLSTM와 동기화하여 모든 이전 맥락 정보를 유지한다.
• 정밀 특징이 계산되지 않은 경우에도 fLSTM를 cLSTM와 동기화하여, fLSTM가 이전 정보를 모두 유지하고 예측에 활용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 코어스 투 파인 프레임워크는 정확도를 훼손하지 않고 FLOPs를 줄이기 위해 비디오 인식에서 동적으로 계산을 할당할 수 있는가?
• RQ2 입력 복잡도에 기반해 고비용의 정밀 특징을 언제 사용할지 결정하는 데 있어 조건부 게이팅 메커니즘의 효과는 어떠한가?
• RQ3 정밀 LSTM을 코어스 LSTM과 동기화함으로써 필수적인 시간적 정보를 유지하고 성능 향상에 기여하는가?
• RQ4 대규모 비디오 벤치마크에서 최신 기준 정확도를 유지하면서 계산량을 얼마나 줄일 수 있는가?
• RQ5 이러한 프레임워크는 온라인(스트리밍) 및 오프라인(배치) 비디오 인식 환경 모두에서 효과적으로 사용될 수 있는가?

주요 결과

• LiteEval는 FCVID에서 65.7%의 top-1 정확도, ActivityNet에서는 66.1%를 기록하여 강력한 베이스라인과 동등하거나 이를 초월하지만, 각각 51.8%, 51.3%의 계산량 감소를 이룬다.
• 균일 샘플링 기반 모델 대비 FLOPs를 50% 이상 감소시켰으며, 정확도 저하가 최소한이어서 뛰어난 효율-정확도 트레이드오프를 입증한다.
• 게이팅 모듈의 임계값 하이퍼파라미터 γ는 큰 영향을 미친다—너무 낮을 경우(예: 0.01) 성능 저하가 발생하지만, 0.1 이하의 값이라도 강력한 성능을 유지함으로써 프레임의 중복성 존재를 시사한다.
• fLSTM를 cLSTM와 동기화하는 것이 핵심이다—동기화가 없을 경우 정확도는 65.7%로 하락하여, 이는 시간적 맥락을 유지하는 데서의 중요성을 확인한다.
• 정밀 LSTM에 2,048개의 은닉 유닛을 사용할 경우 최적의 성능을 달성하며, LSTMs가 총 FLOPs의 0.06%에 불과하여 CNN 특징 추출이 주요 계산 병목임을 확인한다.
• 이 프레임워크는 완전히 미분 가능하며, 미래 프레임 접근이나 강화 학습이 필요한 정책 기반 방법과 달리 온라인 추론에 적합하다.