[논문 리뷰] A Study on Action Detection in the Wild

Yubo Zhang, Pavel Tokmakov외 2명|arXiv (Cornell University)|2019. 04. 29.

Human Pose and Action Recognition참고 문헌 35인용 수 13

한 줄 요약

이 논문은 AVA와 같이 희귀 동작이 몇 개의 예시만 있는 실생활 고도로 불균형한 데이터셋에서 동작 검출 문제를 다룬다. 테일 클래스 성능을 공정하게 평가하기 위해 샘플링된 mAP(mSAP)라는 새로운 지표를 제안하고, 먼저 헤드 클래스에서 사전 훈련한 후, 균형 잡힌 헤드 및 테일 클래스 조합으로 선형 분류기의 미세조정을 수행하는 이단계 훈련 방법을 제안한다. 이로 인해 테일 카테고리에서 mSAP가 6.2% 향상되었으며, 헤드 성능은 유지되었다.

ABSTRACT

The recent introduction of the AVA dataset for action detection has caused a renewed interest to this problem. Several approaches have been recently proposed that improved the performance. However, all of them have ignored the main difficulty of the AVA dataset - its realistic distribution of training and test examples. This dataset was collected by exhaustive annotation of human action in uncurated videos. As a result, the most common categories, such as `stand' or `sit', contain tens of thousands of examples, whereas rare ones have only dozens. In this work we study the problem of action detection in a highly-imbalanced dataset. Differently from previous work on handling long-tail category distributions, we begin by analyzing the imbalance in the test set. We demonstrate that the standard AP metric is not informative for the categories in the tail, and propose an alternative one - Sampled AP. Armed with this new measure, we study the problem of transferring representations from the data-rich head to the rare tail categories and propose a simple but effective approach.

연구 동기 및 목표

• 희귀 동작이 몇 개의 예시만 있는 실생활 고도로 불균형한 데이터셋에서 동작 검출 문제를 해결하기 위해.
• 테스트 세트의 불균형으로 인해 표준 mAP가 테일 클래스 성능 평가에 한계가 있음을 밝히기 위해.
• 희귀 동작 카테고리에서의 성능를 공정하게 반영할 수 있는 더 유의미한 평가 지표를 개발하기 위해.
• 데이터가 풍부한 헤드 클래스의 표현을 활용하여 희귀 테일 클래스의 인식 성능을 향상시키는 효과적인 전이 학습 전략을 제안하기 위해.
• 백본을 동결한 채로 균형 잡힌 데이터셋에서 분류기만 미세조정하는 것이 희귀 동작에서 우수한 성능을 내는지 입증하기 위해.

제안 방법

• 테스트 세트에서 여러 개의 균형 잡힌 샘플을 추출하여 mAP 점수를 평균화해 계산하는 새로운 평가 지표인 평균 샘플링 평균 정밀도(mSAP)를 제안한다.
• 이단계 훈련 체계를 도입한다: 먼저 I3D 백본을 헤드 카테고리에서만 훈련하여 강력한 특징을 학습한다.
• 사전 훈련 후 I3D 백본 가중치를 동결하고, 헤드 및 테일 카테고리를 조합한 균형 잡힌 데이터셋에서 선형 분류기만 미세조정한다.
• 두 단계 모두 확률적 경사 하강법(SGD)을 사용하여 손실를 최적화하며, 두 번째 단계에서는 클래스 균형 샘플링을 적용한다.
• 제안된 방법이 효과적인지 검증하기 위해 전체 데이터셋에서의 엔드 투 엔드 훈련 및 전체 모델의 미세조정과의 성능을 비교한다.
• 균형 잡힌 훈련 세트의 영향과 미세조정 전략의 선택이 헤드 및 테일 성능에 미치는 영향을 분석하기 위해 분석 실험(Ablation study)을 수행한다.

실험 결과

연구 질문

• RQ1 왜 AVA 데이터셋에서 희귀 카테고리의 동작 검출 모델 평가에 표준 mAP는 신뢰할 수 없는가?
• RQ2 장꼬리 데이터셋에서 테일 카테고리 성능을 공정하게 평가할 수 있는 더 정보적인 평가 지표는 어떻게 설계할 수 있는가?
• RQ3 데이터가 풍부한 헤드 카테고리에서의 표현을 전이하여 희귀 테일 카테고리의 검출 성능을 향상시킬 수 있는가?
• RQ4 일반적인 동작에 대한 모델의 일반화 능력이 떨어지지 않도록 하면서도 헤드 및 테일 카테고리에서 성능을 극대화하는 훈련 전략은 무엇인가?
• RQ5 미세조정 중 백본을 동결하는 것이 헤드 성능을 유지하면서도 테일 인식 성능을 향상시키는가?

주요 결과

• 표준 mAP 지표는 테스트 세트가 부정 예측으로 압도되어 있어 희귀 카테고리에 대해 오해의 소지가 있다. 이로 인해 거짓 양성 비율이 점수에 크게 영향을 미친다.
• 제안된 샘플링된 mAP(mSAP) 지표는 균형 잡힌 테스트 샘플을 사용함으로써 희귀 동작 클래스에서의 모델 성능 평가에 더 신뢰할 수 있고 실용적인 평가를 가능하게 한다.
• 헤드 클래스에서 사전 훈련한 후, 균형 잡힌 데이터셋에서 선형 분류기만 미세조정하는 이단계 훈련 방법은 기준 모델 대비 테일 카테고리에서 mSAP 점수를 6.2% 향상시킨다.
• 두 번째 단계에서 I3D 백본을 동결함으로써 헤드 성능을 유지하면서도 테일 클래스에서의 성능 향상이 두드러지며, 엔드 투 엔드 미세조정보다 우수한 성능을 기록한다.
• 두 번째 단계에서 훈련 세트를 균형 잡는 것이 핵심이다. 균형을 맞추지 않으면 클래스 편향으로 인해 테일 성능이 mSAP 기준 18% 감소한다.
• 기타 미세조정 전략 대비 이 방법은 테일 클래스에서 mSAP 점수를 3% 향상시키며, 그 효과성과 효율성을 입증한다.