[논문 리뷰] Knock, knock. Who's there? -- Identifying football player jersey numbers with synthetic data

Divya Bhargavi, Erika Pelaez Coyotl외 1명|arXiv (Cornell University)|2022. 03. 01.

Video Analysis and Summarization인용 수 4

한 줄 요약

이 논문은 합성 데이터 증강과 자세 유도 국소화를 사용하여 저데이터, 극도로 불균형한 데이터셋에서 축구 유니폼 번호를 감지하기 위한 경량이면서 이단계적인 접근법을 제안한다. 사전 훈련된 모델을 활용해 인물 검출 및 인간 자세 추정을 통해 몸통 영역을 추출하고, 간단한 2D 및 복잡한 2D 합성 데이터셋에서 경량 CNN을 훈련시킴으로써, 기준 모델 대비 9% 향상된 89%의 정확도를 달성한다. 이는 최소한의 주석 처리 작업으로도 최신 기술 수준의 성능을 보여준다.

ABSTRACT

Automatic player identification is an essential and complex task in sports video analysis. Different strategies have been devised over the years, but identification based on jersey numbers is one of the most common approaches given its versatility and relative simplicity. However, automatic detection of jersey numbers is still challenging due to changing camera angles, low video resolution, small object size in wide-range shots and transient changes in the player's posture and movement. In this paper we present a novel approach for jersey number identification in a small, highly imbalanced dataset from the Seattle Seahawks practice videos. Our results indicate that simple models can achieve an acceptable performance on the jersey number detection task and that synthetic data can improve the performance dramatically (accuracy increase of ~9% overall, ~18% on low frequency numbers) making our approach achieve state of the art results.

연구 동기 및 목표

• 저데이터, 극도로 불균형한 데이터셋에서 축구 유니폼 번호 감지 문제를 해결하기 위해.
• 번호 위치에 대한 바운딩 박스 주석이 필요 없도록 주석 처리 부담을 줄이기 위해.
• 합성 데이터를 활용해 저자원 환경에서 모델의 일반화 능력과 성능을 향상시키기 위해.
• 제한된 실제 데이터가 존재하는 스포츠 영상 분석에 적용 가능한 확장성 있고 최소한의 감독 신호를 요구하는 파ipelin을 개발하기 위해.
• 경량 모델에 합성 데이터로 미리 훈련시킨 결과가 유니폼 번호 감지에서 최신 기술 수준의 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• 사전 훈련된 인물 검출 모델을 사용해 영상 프레임 내에서 플레이어를 국소화하고 자르는 3단계 파이프라인을 시작한다.
• 사전 훈련된 인간 자세 추정 모델을 활용해 몸통 키포인트를 식별하여 유니폼 영역을 국소화함으로써 번호에 대한 수동 바운딩 박스 주석이 필요 없도록 한다.
• 자른 몸통 이미지(평균 20×25px)를 두 개의 경량 CNN에 입력한다: 하나는 다중 클래스 두 자리 숫자 식별을 위해, 다른 하나는 다중 레이블 단일 숫자 감지를 위해.
• 훈련 데이터 증강 및 강건성 향상을 위해 두 가지 합성 데이터셋 생성기를 사용한다: Simple2D(글꼴 및 색상)와 Complex2D(코코 이미지 위에 겹쳐진 형태).
• 모델은 합성 데이터에서 미리 훈련하고 실제 시애틀 세이퍼스 연습 영상에 대해 미세 조정하여 일반화 능력을 향상시킨다.
• 다중 클래스 및 다중 레이블 모델의 앙상블이 최종 89% 정확도를 달성한다.

실험 결과

연구 질문

• RQ1 합성 데이터 생성이 저데이터, 불균형한 유니폼 번호 감지 작업에서 성능을 크게 향상시킬 수 있는가?
• RQ2 바운딩 박스 주석 없이도 자세 추정을 효과적으로 활용해 유니폼 번호를 국소화할 수 있는가?
• RQ3 합성 데이터로 미리 훈련한 결과가 특히 낮은 빈도의 숫자에 대해 정확도 향상에 기여하는가?
• RQ4 합성 데이터와 자세 유도 캡처를 조합한 경량 CNN이 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 합성 데이터가 극도로 불균형한 실제 스포츠 영상 데이터셋에서 일반화 능력을 얼마나 향상시키는가?

주요 결과

• 앙상블 모델은 테스트 세트에서 89%의 정확도를 달성했으며, 실제 데이터로만 훈련된 기준 모델 대비 9% 향상된 성능을 보였다.
• 합성 데이터의 사용으로 낮은 빈도의 유니폼 번호에서 정확도가 18% 향상되었으며, 희귀 클래스에 대한 강력한 일반화 능력을 입증했다.
• Complex2D 합성 데이터로 미리 훈련한 결과가 가장 높은 성능을 보였으며, 앙상블 모델에서 83.06%의 정확도를 기록했다.
• 데이터 수집 파이프라인을 수정하거나 추가 하드웨어 센서를 요구하지 않음에도 불구하고 최신 기술 수준의 성능을 달성했다.
• 입력 이미지의 품질과 해상도가 핵심 요소로 밝혀졌으며, 신뢰도는 입력의 명확도와 직접적인 상관관계를 보였다.
• 데이터 복제나 표준 이미지 증강에서는 향상이 관찰되지 않아, 단순한 증강보다 고품질의 합성 데이터가 훨씬 가치가 있음을 시사했다.