[논문 리뷰] Fine-grained Video Classification and Captioning

Farzaneh Mahdisoltani, Guillaume Berger외 3명|arXiv (Cornell University)|2018. 04. 24.

Human Pose and Action Recognition인용 수 28

한 줄 요약

이 논문은 다양한 해상도 수준에서 공유되는 특징을 갖는 종단간 딥 네트워크를 제안하며, 더 세밀한 동작에 대한 훈련이 전이 학습을 위한 특징 품질을 향상시킨다는 것을 입증한다. Something-Something 데이터셋에서 모델은 세밀한 분류에서 최고 성능을 기록하고 비디오 캡션 작업에 대해 강력한 베이스라인을 수립한다.

ABSTRACT

We describe a DNN for video classification and captioning, trained end-to-end, with shared features, to solve tasks at different levels of granularity, exploring the link between granularity in a source task and the quality of learned features for transfer learning. For solving the new task domain in transfer learning, we freeze the trained encoder and fine-tune a neural net on the target domain. We train on the Something-Something dataset with over 220, 000 videos, and multiple levels of target granularity, including 50 action groups, 174 fine-grained action categories and captions. Classification and captioning with Something-Something are challenging because of the subtle differences between actions, applied to thousands of different object classes, and the diversity of captions penned by crowd actors. Our model performs better than existing classification baselines for SomethingSomething, with impressive fine-grained results. And it yields a strong baseline on the new Something-Something captioning task. Experiments reveal that training with more fine-grained tasks tends to produce better features for transfer learning.

연구 동기 및 목표

• 원천 작업의 해상도가 전이 학습을 위한 학습된 특징의 품질에 어떻게 영향을 주는지 조사하기 위해.
• 비디오 분류 및 캡션 생성을 동시에 수행할 수 있는 통합 딥 러닝 모델을 개발하기 위해.
• 세부적인 동작 차이와 다양한 캡션을 포함한 도전적인 Something-Something 데이터셋에서 모델의 성능을 평가하기 위해.
• Something-Something에서 새로운 비디오 캡션 작업에 대해 강력한 베이스라인을 수립하기 위해.

제안 방법

• 모델는 비디오 클립에서 특징을 추출하기 위해 공유 인코더를 사용하며, 이는 분류 및 캡션 헤드 양쪽에 공유된다.
• 다양한 해상도 수준에서 종단간 훈련이 이루어지며, 50개의 굵은 동작 그룹, 174개의 세밀한 동작 카테고리, 그리고 완전한 캡션을 포함한다.
• 전이 학습 중에는 인코더가 고정되고, 타겟 도메인에서 새로운 분류기 또는 캡션 헤드가 미세조정된다.
• 세밀한 동작 역학을 포착하기 위해 3D 컨볼루션과 어텐션 메커니즘을 통해 시간적 모델링을 활용한다.
• 모델는 다양한 물체 클래스와 인간이 애너테이션한 캡션을 포함한 22만 개 이상의 비디오에서 Something-Something 데이터셋을 기반으로 훈련된다.
• 전이 학습은 인코더를 고정하고, 하류 작업에서 새로운 헤드를 미세조정함으로써 수행된다.

실험 결과

연구 질문

• RQ1 원천 작업의 해상도가 전이 학습을 위한 학습된 특징의 품질에 어떻게 영향을 주는가?
• RQ2 단일 공유 인코더가 다양한 해상도 수준에서 비디오 분류 및 캡션 생성을 효과적으로 지원할 수 있는가?
• RQ3 세밀한 동작에 대한 훈련이 하류 분류 작업에서 더 나은 성능을 이끌어내는가?
• RQ4 모델은 Something-Something에서 새로이 도입된 비디오 캡션 작업에서 어떻게 성능을 발휘하는가?
• RQ5 다중 수준 감독(粗, 細, 캡션)이 특징 표현 품질에 어떤 영향을 미치는가?

주요 결과

• 모델는 Something-Something 데이터셋에서 기존의 분류 베이스라인을 능가하며, 특히 세밀한 동작 인식에서 뛰어난 성능을 보였다.
• 더 많은 세밀한 작업에 대한 훈련이 전이 학습을 위한 더 나은 특징 표현을 이끌어내며, 하류 성능 향상으로 증명되었다.
• 모델는 Something-Something에서 새로운 비디오 캡션 작업에 대해 강력한 베이스라인을 수립했으며, 다양한 정확한 캡션을 효과적으로 생성하는 데 성공했다.
• 작업 간 공유된 특징은 원천 데이터에 세밀한 동작 차이가 포함되어 있을 경우 일반화 성능 향상에 기여한다.
• 다중 수준 감독을 통한 종단간 훈련은 특징 학습을 향상시켜 분류 및 캡션 양쪽 모두에 대해 강력한 표현을 만들어냈다.