[논문 리뷰] Domain-Specific Priors and Meta Learning for Few-Shot First-Person Action Recognition

Huseyin Coskun, M. Zeeshan Zia외 5명|arXiv (Cornell University)|2019. 07. 22.

Human Pose and Action Recognition참고 문헌 81인용 수 30

한 줄 요약

이 논문은 도메인 특화 시각적 힌트—예를 들어 손 잡기, 물체 상호작용, 운동 및 궤적—를 활용하여 few-shot 제1인칭 동작 인식 방법을 제안한다. 이를 위해 주어진 도메인의 특성을 반영한 주의력 증강 메타러닝 프레임워크(A-MAML)를 사용한다. 독립적으로 훈련된 시각적 힌트와 메타러닝을 융합함으로써, EPIC 및 EGTEA 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 클래스 간 및 데이터셋 간 few-shot 전이 설정 모두에서 기존의 기준 모델들을 크게 능가한다.

ABSTRACT

The lack of large-scale real datasets with annotations makes transfer learning a necessity for video activity understanding. We aim to develop an effective method for few-shot transfer learning for first-person action classification. We leverage independently trained local visual cues to learn representations that can be transferred from a source domain, which provides primitive action labels, to a different target domain using only a handful of examples. Visual cues we employ include object-object interactions, hand grasps and motion within regions that are a function of hand locations. We employ a framework based on meta-learning to extract the distinctive and domain invariant components of the deployed visual cues. This enables transfer of action classification models across public datasets captured with diverse scene and action configurations. We present comparative results of our transfer learning methodology and report superior results over state-of-the-art action classification approaches for both inter-class and inter-dataset transfer.

연구 동기 및 목표

• 대규모로 완전히 애너테이션된 비디오 데이터셋이 부족한 상황에서 few-shot 제1인칭 동작 인식의 과제를 해결한다.
• 클래스 간 및 데이터셋 간 도메인 이동과 데이터 불균형 문제를 극복하기 위해 클래스와 데이터셋 간 전이 학습을 가능하게 한다.
• 전경 동작을 배경의 잡음에서 분리하여 포지셔닝하는 수단으로 손 중심의 시각적 힌트를 활용하는 확장 가능한, 애너테이션 최소화 프레임워크를 개발한다.
• 메타러닝과 작업 특화 시각적 사전 지식을 융합하여 동작 인식 모델의 일반화 성능을 향상시키고, 더 나은 few-shot 적응 능력을 확보한다.

제안 방법

• 제1인칭 비디오에서 분류 가능한 특징을 추출하기 위해 독립적으로 훈련된 시각적 힌트 모델(손 감지, 잡기 분류, 광학 흐름, 물체 상호작용)을 도메인 특화 사전 지식으로 활용한다.
• 시간적 순서를 인코딩하기 위해 순환 신경망(RNN)을 사용하고, 관련 있는 시공간 패턴에 집중하기 위해 주의력 메커니즘을 도입한다.
• RNN을 새로운 클래스에 대해 소수의 예시로 신속하게 적응시킬 수 있도록 주의력 증강 모델 무관 메타러닝(A-MAML) 프레임워크를 적용한다. 이는 추론 시 빠른 적응을 가능하게 한다.
• 시각적 힌트 모델을 다양한 이미지 데이터셋(COCO, ImageNet 등)에서 훈련하고, 비디오 데이터에서 재학습 없이도 비디오 동작 인식으로 전이한다.
• 손 중심의 힌트에 초점을 맞춰 전경 동작 표현을 배경의 외관에서 분리함으로써, 장면 변화에 대한 강건성을 향상시킨다.
• 소수의 예시로 구성된 각 클래스에 대해 지원 세트와 쿼리 세트를 포함하는 에피소드 기반 메타훈련을 수행한다.

실험 결과

연구 질문

• RQ1 예를 들어 잡기, 운동, 물체 상호작용 등의 도메인 특화 시각적 힌트가 제1인칭 비디오에서 few-shot 동작 인식에 효과적인 사전 지식으로 기능할 수 있는가?
• RQ2 표준 미세조정 및 KNN 기준 모델 대비 주의력 증강 메타러닝(A-MAML)이 few-shot 제1인칭 동작 인식에서 얼마나 효과적인가?
• RQ3 단순히 이미지 데이터셋에서 학습된 표현이 최소한의 애너테이션으로 비디오 동작 인식에 얼마나 잘 전이될 수 있는가?
• RQ4 제안된 방법이 소수의 예시로도 클래스 간(긴 꼬리 동작 포함) 및 데이터셋 간(예: 주방에서 공장으로)의 시나리오 모두에 일반화 가능한가?

주요 결과

• 제안된 A-MAML 방법은 5-way 1-shot EPIC 벤치마크에서 50.2%의 정확도를 달성하여, 다음으로 우수한 성능을 보인 ProtoNet보다 17.3%포인트 높다.
• 5-shot 5클래스 작업에서 A-MAML은 EPIC에서 41.4%의 정확도, EGTEA에서 51.4%의 정확도를 기록하여, ProtoGAN 및 TARN을 포함한 모든 기준 모델을 초월한다.
• 10-shot 인식에서 A-MAML는 EPIC에서 50.2%, EGTEA에서 60.7%의 정확도를 기록하여, 제한된 감독 정보 조건에서도 강력한 일반화 능력을 입증한다.
• 절단 실험 결과, 손, 운동, 잡기, 물체 상호작용 등 모든 시각적 힌트를 사용할 경우 1-shot에서 33.5%의 정확도를 기록한 반면, 전역 특징만 사용할 경우 30.3%로, 다중 힌트 융합의 가치를 입증한다.
• 도메인 이동이 높은 데이터셋 간 전이 상황에서, 미세조정은 KNN보다 15.5%포인트 높은 56.9% 대비 41.4%를 기록하여, 모델 적응이 메트릭 기반 추론보다 더 효과적임을 시사한다.
• A-MAML의 주의력 메커니즘은 표준 MAML 대비 2.5–4.5%포인트 성능 향상을 이끌었으며, 특히 긴 꼬리 및 저샷 시나리오에서 두드러진다.