[논문 리뷰] Look More but Care Less in Video Recognition

Yitian Zhang, Yue Bai외 3명|arXiv (Cornell University)|2022. 11. 18.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 효율적인 비디오 인식을 위해 모든 입력 프레임을 최소한의 계산으로 처리하면서도 가벼운 탐색 모듈을 통해 유의미한 프레임에 동적으로 초점을 맞추는 이중 브랜치 2D-CNN 아키텍처인 Ample 및 Focal 네트워크(AFNet)를 제안한다. 이 방법은 네트워크 내에서 적응형 프레임 선택을 통해 시간적 동적 특성을 암묵적으로 모델링함으로써, 계산 비용을 줄이면서도 정보 손실 없이 더 높은 정확도를 달성한다. 기준 모델보다 더 적은 프레임을 사용함에도 불구하고 정확도가 높아진다.

ABSTRACT

Existing action recognition methods typically sample a few frames to represent each video to avoid the enormous computation, which often limits the recognition performance. To tackle this problem, we propose Ample and Focal Network (AFNet), which is composed of two branches to utilize more frames but with less computation. Specifically, the Ample Branch takes all input frames to obtain abundant information with condensed computation and provides the guidance for Focal Branch by the proposed Navigation Module; the Focal Branch squeezes the temporal size to only focus on the salient frames at each convolution block; in the end, the results of two branches are adaptively fused to prevent the loss of information. With this design, we can introduce more frames to the network but cost less computation. Besides, we demonstrate AFNet can utilize fewer frames while achieving higher accuracy as the dynamic selection in intermediate features enforces implicit temporal modeling. Further, we show that our method can be extended to reduce spatial redundancy with even less cost. Extensive experiments on five datasets demonstrate the effectiveness and efficiency of our method.

연구 동기 및 목표

• 계산 비용과 인식 정확도 사이의 상충 관계를 해결하여, 비례적인 계산 증가 없이도 더 많은 프레임을 사용할 수 있도록 한다.
• 기존 방법들이 중요한 프레임이 아닌 프레임을 조기에 기각함으로써 정보 손실와 모델의 강건성 저하를 야기하는 한계를 극복한다.
• 시간적 모델링과 특징 표현을 향상시키기 위해 네트워크 내부에 동적이고 종단 간 훈련 가능한 프레임 선택 메커니즘을 도입한다.
• 각 합성곱 블록에서 유의미한 프레임에 대한 선택적 계산을 가능하게 하는 경량 탐색 모듈을 설계하여 부가적인 정책 네트워크 없이 중복을 줄인다.
• 선택된 프레임의 공간 영역에 동일한 선택 메커니즘을 적용하여 공간적 부재를 줄이기 위한 프레임워크를 확장한다.

제안 방법

• 이중 브랜치 아키텍처를 제안한다: Ample 브랜치는 다운샘플링과 채널 감소를 통해 전체 시간 정보를 유지하면서도 저비용으로 모든 입력 프레임을 처리한다.
• Focal 브랜치를 도입하여 각 합성곱 블록에서 탐색 모듈을 사용해 동적으로 유의미한 프레임만 선택하고 계산함으로써 시간적 계산을 줄인다.
• 중간 특징 기반으로 프레임 선택 가중치를 생성하는 경량 탐색 모듈을 설계하여 추가 정책 네트워크 없이 종단 간 훈련이 가능하도록 한다.
• 두 브랜치 간의 적응형 특징 융합을 구현하여 Ample 브랜치의 전역적 맥락과 Focal 브랜치의 집중적 표현을 결합한다.
• 선택된 프레임의 공간 영역에 동일한 동적 선택 메커니즘을 적용하여 공간적 부재를 줄이기 위한 확장 기능을 구현한다.
• 전체 네트워크를 종단 간 훈련하여 탐색 모듈이 역전파를 통해 작업에 특화된 프레임 중요도를 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 이중 브랜치 네트워크 설계는 비디오 인식에서 전체 입력 프레임 정보를 유지하면서도 계산 비용을 줄일 수 있는가?
• RQ2 입력 단계가 아닌 네트워크 내부에서의 동적 프레임 선택은 더 적은 프레임으로도 더 나은 시간적 모델링과 정확도 향상에 기여하는가?
• RQ3 복잡한 정책 네트워크 없이도 효율성과 종단 간 훈련을 유지하면서도 경량이고 학습 가능한 탐색 모듈이 프레임 선택에 활용될 수 있는가?
• RQ4 제안된 방법은 정확도 손실 없이 시간적 및 공간적 중복을 어느 정도 줄일 수 있는가?
• RQ5 중간 레이어에서의 동적 선택 전략은 고정 샘플링 또는 무작위 선택 전략에 비해 정확도와 효율성 측면에서 어떻게 비교되는가?

주요 결과

• AFNet은 50%의 프레임만 선택함에도 불구하고 Something-Something V1에서 75.9%의 Top-1 정확도를 달성하여, 100% 프레임을 사용하는 기준 모델의 74.6% 정확도를 초월한다.
• 동일한 프레임 수를 사용할 경우, 적응형 융합을 포함한 이중 브랜치 설계는 단일 브랜치 모델 대비 최대 3.4%의 정확도 향상을 이룬다.
• 모든 프레임 선택 비율에서 탐색 모듈이 고정 샘플링 전략(무작위, 균일, 정규)을 항상 능가한다. 특히 낮은 비율(예: 0.3)에서 정확도 격차가 가장 두드러진다.
• 유의미한 프레임에 집중함으로써 계산 비용을 줄이면서도 모든 입력 정보를 유지함으로써, 정적 샘플링 대비 더 적은 프레임으로도 더 높은 정확도를 달성할 수 있다.
• 동적 선택 메커니즘은 시간적 관계를 암묵적으로 모델링하여 정적 방법보다 네트워크가 시간적 의존성을 더 효과적으로 학습할 수 있도록 한다.
• 공간적 부재 감소를 위한 확장도 가능하며, 공간 적응형 방법과 조합했을 때 효율성이 더욱 향상됨을 아블레이션 연구를 통해 입증되었다.