[논문 리뷰] AdaFrame: Adaptive Frame Selection for Fast Video Recognition

Zuxuan Wu, Caiming Xiong외 3명|arXiv (Cornell University)|2018. 11. 29.

Multimodal Machine Learning Applications참고 문헌 41인용 수 16

한 줄 요약

AdaFrame는 강화학습 기반의 프레임 선택 프레임워크를 제안하며, 빠른 비디오 인식을 위해 정보가 풍부한 비디오 프레임을 적응적으로 선택한다. 전역 메모리와 함께 LSTM을 사용하여 프레임 선택을 안내하고 정책 그래디언트 학습을 통해, FCVID와 ActivityNet에서 각각 평균 8.21 및 8.65프레임으로 상태최고 수준의 정확도를 달성하며, 성능을 유지하면서 계산량을 최대 90.6%까지 감소시킨다.

ABSTRACT

We present AdaFrame, a framework that adaptively selects relevant frames on a per-input basis for fast video recognition. AdaFrame contains a Long Short-Term Memory network augmented with a global memory that provides context information for searching which frames to use over time. Trained with policy gradient methods, AdaFrame generates a prediction, determines which frame to observe next, and computes the utility, i.e., expected future rewards, of seeing more frames at each time step. At testing time, AdaFrame exploits predicted utilities to achieve adaptive lookahead inference such that the overall computational costs are reduced without incurring a decrease in accuracy. Extensive experiments are conducted on two large-scale video benchmarks, FCVID and ActivityNet. AdaFrame matches the performance of using all frames with only 8.21 and 8.65 frames on FCVID and ActivityNet, respectively. We further qualitatively demonstrate learned frame usage can indicate the difficulty of making classification decisions; easier samples need fewer frames while harder ones require more, both at instance-level within the same class and at class-level among different categories.

연구 동기 및 목표

• 입력 비디오당 관련 프레임만 선택하여 비디오 인식의 계산 비용을 줄이되 정확도를 훼손하지 않도록 하는 것.
• 프레임 중요도가 명시적으로 레이블링되지 않은 약한 감독 비디오 분류 문제에 대응하는 것.
• 비디오의 복잡성과 분류 난이도에 따라 동적으로, 입력에 따라 달라지는 프레임 사용 정책을 학습하는 것.
• 향후 프레임 관찰의 유용성을 예측함으로써 테스트 시기에 적응형 추론을 가능하게 하는 것.
• 프레임 사용이 클래스 간 및 클래스 내에서의 인식 난이도와 상관이 있음을 입증하는 것.

제안 방법

• AdaFrame는 다운샘플된 비디오 프레임에서의 맥락을 저장하는 전역 메모리 모듈을 갖춘 LSTM 네트워크를 사용하여 프레임 선택을 안내한다.
• 모델은 정책 그래디언트 강화학습을 사용하여 프레임 선택 정책을 학습하며, 각 추가 프레임마다 신뢰도가 증가하는 보상 함수를 최대화한다.
• 각 타임스텝에서 에이전트는 다음으로 관찰할 프레임을 예측하고 분류 출력을 생성하며, 계속 추론하는 데 있어 예상되는 미래 유용성을 계산한다.
• 추론 중에 모델은 예측된 유용성 점수를 활용하여 언제 멈출지를 결정함으로써, 계산을 줄이는 적응형 앞서보기 전략을 구현한다.
• 전역 메모리는 고정된 수의 다운샘플 프레임에서 구성되며, 제거 분석을 통해 정확도-과부하 균형을 고려할 때 16프레임이 최적임을 확인하였다.
• 지속적인 예측 정확도 향상도를 측정하는 새로운 보상 함수를 사용하여, 정보가 풍부한 프레임 선택을 장려한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 다양한 비디오 입력에 대해 높은 인식 정확도를 유지하면서도 최소한의 프레임 세트를 학습하여 선택할 수 있는가?
• RQ2 전역 메모리의 포함 여부가 약한 감독 비디오 인식에서 프레임 선택 정책 학습에 어떤 영향을 미치는가?
• RQ3 프레임 사용이 비디오 분류 작업의 내재된 난이도와 어느 정도 상관이 있는가?
• RQ4 예측된 유용성 기반의 적응형 추론이 고정 또는 엔트로피 기반 정지 기준을 초월할 수 있는가?
• RQ5 대규모 벤치마크에서 AdaFrame의 성능은 균일 샘플링 및 기타 프레임 선택 기준 대비 어떻게 비교되는가?

주요 결과

• AdaFrame는 FCVID와 ActivityNet 양쪽에서 최신 기술 수준의 평균 정밀도(mAP)를 달성하였으며, 각각 평균 8.21 및 8.65프레임만 사용하여 균일 샘플링 기준선과 동일하거나 이를 초월하였다.
• FCVID와 ActivityNet에서 균일 샘플링 대비 평균적으로 계산 비용을 각각 58.9%와 63.3% 감소시켰으며, 피크 감소율은 최대 90.6%에 이르렀다.
• 카테고리 간 및 동일한 클래스 내에서도 프레임 사용이 크게 다름을 보였으며, 카메라 움직임이나 혼잡한 배경이 있는 경우와 같이 더 어려운 샘플은 정확히 분류하기 위해 더 많은 프레임이 필요함을 확인하였다.
• AdaFrame는 FCVID에서 42.8%의 비디오에서 과거 정보를 재표현하기 위해 시간을 거슬러 올라가는 경우가 있어, 효과적인 시간적 추론 능력을 보였다.
• 제거 분석을 통해 전역 메모리가 성능 향상에 기여하며, 16프레임이 정확도-과부하 균형에서 최적임을 확인하였다.
• 현재 예측 정확도나 전이 차이에만 기반한 보상 함수 대비, 시간에 따른 신뢰도 향상도를 측정하는 제안된 보상 함수가 더 뛰어난 성능을 보였다.