[논문 리뷰] Long-Term Feature Banks for Detailed Video Understanding

Chao-Yuan Wu, Christoph Feichtenhofer외 4명|arXiv (Cornell University)|2018. 12. 12.

Human Pose and Action Recognition참고 문헌 54인용 수 33

한 줄 요약

이 논문은 전체 영상 동안 시간 색인된 지원 시각적 특징(예: 객체 검출)을 저장하는 장기 특징 백업(LFB)을 소개한다. 이는 3D 컨volution 뉴럴 네트워크 영상 모델의 성능을 향상시키기 위해 사용된다. 장기적 맥락을 단기 특징 학습에서 분리함으로써 LFB는 주어진 영상 모델이 장기적 맥락을 주목적으로 통합함으로써 행동 인식 및 국소화 성능을 향상시키며, AVA, EPIC-Kitchens, Charades에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

To understand the world, we humans constantly need to relate the present to the past, and put events in context. In this paper, we enable existing video models to do the same. We propose a long-term feature bank---supportive information extracted over the entire span of a video---to augment state-of-the-art video models that otherwise would only view short clips of 2-5 seconds. Our experiments demonstrate that augmenting 3D convolutional networks with a long-term feature bank yields state-of-the-art results on three challenging video datasets: AVA, EPIC-Kitchens, and Charades.

연구 동기 및 목표

• 기존 영상 모델이 추론 시 단기 클립(2–5초)에만 의존하여 장기적 맥락 정보를 누락하는 한계를 해결하기 위해.
• 장기적 맥락을 단기 특징 학습에서 분리함으로써 더 풍부한 시간적 모델링을 가능하게 하여 영상 이해 성능을 향상시키기 위해.
• 다양한 영상 작업에 활용 가능한 유연한 보조 특징 백업을 개발하기 위해.
• 장기적 맥락이 공간-시간 행동 국소화, 동사/명사 분류, 영상 분류 작업에서 성능 향상에 크게 기여함을 입증하기 위해.

제안 방법

• 장기 특징 백업(LFB)은 사전에 훈련된 검출기(예: Faster R-CNN)를 사용해 전체 영상에서 사전 추출한 시간 색인된 특징(예: 객체 검출)을 저장한다.
• LFB는 3D CNN과 주목 기반 메커니즘을 통해 통합되며, 현재 클립의 특징과 백업에서의 관련 장기적 특징을 정렬한다.
• 주목 기반 메커니즘은 3D CNN에서 온 쿼리 특징과 LFB에서 온 키 특징을 비교하여 맥락 인식 가중치를 계산함으로써 장기적 맥락의 동적 활용을 가능하게 한다.
• 주의 및 예측 헤드를 적절히 조정함으로써 프레임 수준, 영상 수준, 공간-시간 행동 국소화 등 다양한 출력 유형을 지원한다.
• LFB를 사전 훈련된 백본 뒤에 추가할 경우 과적합을 방지하기 위해 이중 단계 훈련 스케줄을 사용한다.
• AVA의 경우, STO(Self-attention with Temporal Ordering) 모듈의 과적합을 방지하기 위해 훈련 중 '방해 요소'(distractor) 정규화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 장기적 시각적 맥락이 단기 클립만 처리하는 3D CNN 모델의 영상 이해 성능을 크게 향상시킬 수 있는가?
• RQ2 장기적 특징 저장을 단기 특징 학습에서 분리함으로써 다양한 영상 이해 작업에서 성능에 어떤 영향을 미치는가?
• RQ3 기존 3D CNN에 비해 LFB가 공간-시간 행동 국소화, 동사/명사 분류, 영상 분류 작업에서 성능 향상에 얼마나 기여하는가?
• RQ4 LFB의 성능 향상이 더 강력한 백본 또는 향상된 단기 특징 학습의 성능 향상과 상호 보완적인가?
• RQ5 복잡한 장기적 의존성을 지닌 데이터셋에서 과적합을 방지하기 위해 LFB를 효과적으로 정규화할 수 있는가?

주요 결과

• 기존 3D CNN에 비해 AVA에서 mAP가 1.5–2.0 포인트 향상되어 공간-시간 행동 국소화에서 최신 기술 수준(SOTA) 성능을 달성한다.
• EPIC-Kitchens에서 LFB는 동사 인식 정확도를 2% 이상, 명사 인식 정확도를 3% 이상 향상시켰다.
• Charades에서 LFB는 R101-I3D-NL 백본을 사용해 42.5%의 mAP를 기록했으며, 기준 3D CNN(38.3%) 및 STO(41.0%)를 상당한 격차로 앞서며 성능을 뛰어넘었다.
• 절단 실험 결과, 성능 향상은 단지 백본 향상 때문이 아니라 장기적 맥락 통합 덕분임을 확인했으며, LFB와 백본 향상의 효과는 상호 보완적임을 입증했다.
• AVA에서 훈련 중 '방해 요소' 특징을 사용함으로써 STO 모듈의 과적합이 효과적으로 억제되고 일반화 성능이 향상됨을 확인했다.
• LFB는 영상 수준, 프레임 수준, 공간-시간 국소화 등 다양한 작업에서 효과적이며 광범위한 적용 가능성을 입증했다.