[논문 리뷰] Do Less and Achieve More: Training CNNs for Action Recognition Utilizing Action Images from the Web

Shugao Ma, Sarah Adel Bargal외 3명|arXiv (Cornell University)|2015. 12. 22.

Human Pose and Action Recognition참고 문헌 26인용 수 4

한 줄 요약

이 논문은 CNN을 사용하여 영상 내 동작 인식 성능을 크게 향상시키기 위해 웹에서 크롤링한 수작업으로 필터링된 동작 이미지를 활용하는 방법을 제안한다. 이는 대규모 영상 데이터셋에 대한 의존도를 줄이는 데 기여한다. 특히 수작업으로 필터링된 또는 필터링되지 않은 웹 자료에서 유래한 분류에 유리한 동작 이미지를 사용하여 영상과 함께 학습시키면, 영상 전용 학습 대비 최대 10.5%p의 절대적 성능 향상을 이끌어내며, ActivityNet의 1620만 장의 영상 프레임 중 절반을 39만 3000장의 이미지로 대체해도 성능에 손상이 없다. 이는 UCF101에서 91.1%의 최고 성능을 달성한다.

ABSTRACT

Recently, attempts have been made to collect millions of videos to train CNN models for action recognition in videos. However, curating such large-scale video datasets requires immense human labor, and training CNNs on millions of videos demands huge computational resources. In contrast, collecting action images from the Web is much easier and training on images requires much less computation. In addition, labeled web images tend to contain discriminative action poses, which highlight discriminative portions of a video's temporal progression. We explore the question of whether we can utilize web action images to train better CNN models for action recognition in videos. We collect 23.8K manually filtered images from the Web that depict the 101 actions in the UCF101 action video dataset. We show that by utilizing web action images along with videos in training, significant performance boosts of CNN models can be achieved. We then investigate the scalability of the process by leveraging crawled web images (unfiltered) for UCF101 and ActivityNet. We replace 16.2M video frames by 393K unfiltered images and get comparable performance.

연구 동기 및 목표

• 웹에서 캡처한 동작 이미지가 CNN 기반 영상 동작 인식 성능 향상에 기여하는지 조사하기.
• 학습을 위한 대규모 영상 데이터셋을 수작업으로 정제하는 데 드는 높은 인적 및 계산 자원 비용을 줄이기.
• 필터링되지 않은 크롤링된 웹 이미지를 영상 프레임의 대체 자료로 사용할 때의 확장성과 효율성 탐색하기.
• 웹 이미지가 영상 데이터와 보완적인 정보를 제공하는지 평가하여 모델의 일반화 능력 향상 여부 확인하기.
• UCF101과 ActivityNet에 1:1로 대응하는 가장 큰 동작 이미지 데이터셋을 구축하고 공개하여 연구자들이 활용할 수 있도록 하기.

제안 방법

• 저자들은 101개의 UCF101 동작 클래스를 담고 있는 수작업으로 필터링된 웹 이미지 23.8만 장을 확보하여 고품질의 분류에 유리한 자세를 확보한다.
• 영상 프레임과 웹 동작 이미지를 함께 사용하여 깊이 있는 공간적 CNN(예: VGG16, VGG19)을 학습시켜 특징 학습 능력을 향상시킨다.
• 확장성을 확보하기 위해 UCF101과 ActivityNet에 대해 39.3만 장의 필터링되지 않은 웹 이미지를 크롤링하여 일부 영상 프레임을 대체한다.
• 필터링된 이미지와 필터링되지 않은 이미지의 성능를 비교하고, 다양한 모델 깊이와 데이터 비율에서의 정확도 향상을 평가한다.
• UCF101과 ActivityNet에서 표준 평가 프로토콜을 사용하여 mAP 및 상위 1위 정확도를 평가하며, 광학 흐름 기능 유무에 따라 비교한다.
• 웹 이미지의 기여도를 모델 깊이와 운동 특징과 분리하여 분석하기 위해 추론 실험을 수행한다.

실험 결과

연구 질문

• RQ1 웹에서 캡처한 동작 이미지는 영상 동작 인식을 위한 CNN 성능을 크게 향상시킬 수 있는가?
• RQ2 대규모 영상 데이터셋이 필요 없이도 정확도를 유지하면서 웹 이미지를 사용할 경우 성능 향상이 가능한가?
• RQ3 필터링된 웹 이미지와 필터링되지 않은 웹 이미지의 성능 및 확장성은 어떻게 비교되는가?
• RQ4 웹 이미지의 수가 증가함에 따라 성능 향상의 한계는 어떻게 변화하는가?
• RQ5 특히 운동 특징과 함께 사용할 경우 웹 이미지가 영상 데이터와 보완적인 정보를 제공할 수 있는가?

주요 결과

• 영상과 함께 23.8만 장의 필터링된 웹 이미지를 사용해 공간적 CNN을 학습시켰을 때, UCF101에서 83.5%의 정확도를 달성하였으며, 영상 전용 학습 대비 10.5%p의 절대적 향상이 있었다.
• 운동 특징(IDT-FV)을 추가로 사용한 모델은 UCF101에서 91.1%의 정확도를 기록하여 지금까지 보고된 바 중 최고 성능이다.
• ActivityNet의 1620만 장의 영상 프레임 중 절반을 39.3만 장의 필터링되지 않은 웹 이미지로 대체했을 때, 성능은 유사하게 유지되었으며, mAP는 46.3%로 전체 영상 세트(47.7%)와 유사한 성능을 보였다.
• 웹 이미지의 수가 증가함에 따라 성능 향상 폭이 점차 감소하여 어느 정도의 임계값을 넘어서면 포화 상태에 이를 것으로 보인다.
• 이 방법은 다양한 CNN 아키텍처에 대해 안정적이며, ActivityNet처럼 매우 큰 영상 데이터셋을 사용하는 경우에도 효과를 유지한다.
• 웹 이미지 사용은 CNN에 9개 이상의 레이어를 추가하거나 복잡한 운동 모델링을 통합하는 것과 유사한 성능 향상을 이끌어내지만, 추론 비용은 증가시키지 않는다.