[논문 리뷰] Soccer Field Localization from a Single Image

Namdar Homayounfar, Sanja Fidler외 1명|arXiv (Cornell University)|2016. 04. 10.

Video Analysis and Summarization참고 문헌 18인용 수 4

한 줄 요약

이 논문은 마르코프 무작위장(MRF)에서 분기 및 경계 추론을 사용하여 단일 방송 영상에서 축구장 위치를 완전 자동으로 추정하는 방법을 제안한다. 두 개의 감지된 퇄점에서 유도된 네 개의 광선을 통해 필드를 모델링하고, 잔디 세그멘테이션, 선, 원 잠재력과 기하학적 제약을 결합하여, 2014 월드컵 데이터셋에서 평균 IOU가 0.90에 도달함으로써 다양한 조명 조건과 필드 조건에서도 뛰어난 내성성을 입증한다.

ABSTRACT

In this work, we propose a novel way of efficiently localizing a soccer field from a single broadcast image of the game. Related work in this area relies on manually annotating a few key frames and extending the localization to similar images, or installing fixed specialized cameras in the stadium from which the layout of the field can be obtained. In contrast, we formulate this problem as a branch and bound inference in a Markov random field where an energy function is defined in terms of field cues such as grass, lines and circles. Moreover, our approach is fully automatic and depends only on single images from the broadcast video of the game. We demonstrate the effectiveness of our method by applying it to various games and obtain promising results. Finally, we posit that our approach can be applied easily to other sports such as hockey and basketball.

연구 동기 및 목표

• 수동 초기화나 전용 카메라 설정 없이 완전 자동으로 단일 영상에서 축구장 위치를 추정할 수 있도록 하는 것.
• 실외 경기장에서 변동하는 조명 조건과 잔디 질감 조건 하에서 필드 위치 추정 문제를 해결하는 것.
• 기본적인 경기장 기하학과 표시를 알고 있는 다른 스포츠로 일반화 가능한 방법을 개발하는 것.
• 단지 영상 신호에 의존하여 关键 프레임 기반 기준선 및 수동 초기화 방법을 능가하는 것.
• 방송 영상에서의 3차원 장면 이해를 가능하게 함으로써 스포츠 분석에 대해 확장 가능하고 효율적인 솔루션을 제공하는 것.

제안 방법

• 여러 시각적 신호를 조합한 에너지 함수를 사용하는 마르코프 무작위장(MRF)에서의 분기 및 경계 추론으로 필드 위치 추정 문제를 수식화한다.
• 두 개의 자동으로 감지된 수평 퇄점에서 유도된 네 개의 광선을 사용하여 필드를 매개변수화하고, 외곽 경계를 정의한다.
• 세분화된 잔디 영역을 식별하기 위해 의미 세그멘테이션을 사용하고, 이를 MRF의 단항 잠재력으로 활용한다.
• 검출된 이미지 선과 알려진 3차원 필드 모델 간의 기하학적 일致성을 강제하는 선 및 원 잠재력을 통합한다.
• 학습용 레이블이 부여된 이미지 세트에서 최적의 MRF 잠재력 가중치를 학습하기 위해 구조적 서포트 벡터 머신을 사용한다.
• 분기 및 경계를 통해 추론을 수행하여, 단일 CPU 코어에서 프레임당 평균 0.7초의 추론 시간을 달성한다.

실험 결과

연구 질문

• RQ1 수동 초기화 또는 고정된 카메라 캘리브레이션 없이 단일 방송 영상에서 축구장을 완전 자동으로 위치 추정할 수 있는가?
• RQ2 잔디, 선, 원 등의 통합 시각적 신호는 변동하는 조명 조건과 질감 조건 하에서 정확도 향상에 얼마나 효과적인가?
• RQ3 제안된 MRF 기반 추론 프레임워크는 최근접 이웃 호모지그래피 전이에 의존하는 관건 기반 기준선을 능가하는가?
• RQ4 타장점과 기하학적 제약을 사용할 경우 순수한 외관 기반 방법에 비해 얼마나 더 내성적인가?
• RQ5 기본적인 경기장 치수와 선, 원 등의 기하 표시를 알고 있는 다른 스포츠로도 일반화 가능한가?

주요 결과

• 제안된 방법은 259장의 2014 월드컵 이미지 테스트 세트에서 평균 IOU가 0.90, 중앙값 IOU가 0.94를 기록하여 높은 위치 추정 정확도를 입증했다.
• 선 및 원 잠재력을 포함할 경우, 잔디 잠재력만 사용했을 때 평균 IOU가 0.57에 그친 것과 비교해 IOU가 약 30% 향상되었다.
• 최고의 성능을 보인 설정은 잔디 잠재력에 대해 네 개의 별도 가중치, 수직선에 대해 하나의 공통 가중치, 수평선에 대해 하나의 공통 가중치, 원에 대해 하나의 공통 가중치를 사용하여 가장 높은 IOU를 달성했다.
• 잔디 세그멘테이션 기반 최근접 이웃 기반 기준선과 선 거리 변환 기반 기준선 두 가지 기준선을 34% 높은 평균 IOU로 능가하여, 관건 기반 전이 방법보다 뛰어난 성능을 보였다.
• 프레임당 평균 0.7초의 추론 시간과 평균 2,964회의 분기 및 경계 반복을 통해 실시간 영상 처리에 실용적인 솔루션을 제공했다.
• 실패 사례는 주로 원 잠재력 감지 오류에서 기인하며, 시야가 불량하거나 가림이 있을 경우 원 표시 위치 추정에 취약함을 시사한다.