[논문 리뷰] Crowdsourcing Gaze Data Collection

Dmitry Rudoy, Dan B Goldman외 2명|arXiv (Cornell University)|2012. 04. 16.

Visual Attention and Saliency Detection참고 문헌 5인용 수 19

한 줄 요약

이 논문은 영상 재생 후 일시적으로 표시되는 문자 차트를 통해 참가자들이 자가 보고한 시선 위치를 이용하여 대규모 참가자 수에서 저비용으로 시선 방향 데이터를 수집하는 방법을 제안한다. 응답을 차트의 레이아웃과 비교하여 검증하고 결과를 히트맵으로 집계함으로써, 기존 하드웨어 추적 기술과 유사한 정확도의 시선 데이터를 확보할 수 있으며, 제어되지 않은 시청 조건에서도 확장 가능한 글로벌 분포 시각 연구를 가능하게 한다.

ABSTRACT

Knowing where people look is a useful tool in many various image and video applications. However, traditional gaze tracking hardware is expensive and requires local study participants, so acquiring gaze location data from a large number of participants is very problematic. In this work we propose a crowdsourced method for acquisition of gaze direction data from a virtually unlimited number of participants, using a robust self-reporting mechanism (see Figure 1). Our system collects temporally sparse but spatially dense points-of-attention in any visual information. We apply our approach to an existing video data set and demonstrate that we obtain results similar to traditional gaze tracking. We also explore the parameter ranges of our method, and collect gaze tracking data for a large set of YouTube videos.

연구 동기 및 목표

• 대규모이고 다양한 참가자 풀에서 시선 데이터를 수집하는 데 있어 기존 시선 추적 하드웨어의 높은 비용과 제한된 확장성 문제를 해결하기 위해.
• 표준 웹 브라우저와 인터넷 액세스만으로도 거의 무제한의 참가자 수에서 시선 위치 데이터를 수집할 수 있도록 하기 위해.
• 특수 장비 없이도 데이터 신뢰성과 공간 정확도를 보장하는 강력한 자기 보고 기반 메커니즘을 개발하기 위해.
• 자기 보고된 시선 데이터가 실험실 기반 시선 추적 시스템의 결과와 통계적으로 유사한 결과를 낼 수 있음을 검증하기 위해.
• 다양한 인구 통계 및 시청 환경에서 대규모 영상 분석에 커뮤니티 기반 시선 데이터를 활용할 수 있는 가능성 탐색하기 위해.

제안 방법

• 참가자들에게 $t_v$ 초 동안 영상 클립을 재생한 후, $t_c$ 초 동안 고유한 기호 트리플릿이 격자 형태로 배열된 문자 차트를 일시적으로 표시한다.
• 참가자들은 가장 명확하게 본 기호 트리플릿을 보고하며, 시스템은 이를 알려진 화면 위치로 매핑하여 추정 시선 지점을 산정한다.
• 차트의 레이아웃을 활용해 잘못된 또는 무작위 입력과 같은 유효하지 않은 응답을 탐지하고 거부함으로써 데이터 품질을 향상시킨다.
• 주의 산만하거나 경솔한 참가자를 걸러내기 위해 승인 반경 $R_a$를 가진 튜토리얼 단계를 도입함으로써 전체 데이터 신뢰도를 향상시킨다.
• 여러 참가자의 시선 위치를 확률 밀도 함수로 집계하여 열지도로 시각화함으로써 주의 집중 영역을 파악한다.
• 기호의 공간 분포를 제어하기 위해 트리플릿 밀도 $D_r$를 사용하여 군집을 최소화하고 공간 해상도를 향상시킨다.

실험 결과

연구 질문

• RQ1 간단한 웹 인터페이스를 통해 수집된 자기 보고 시선 데이터가 기존 하드웨어 시선 추적 기술과 유사한 정확도를 달성할 수 있는가?
• RQ2 실제로 제어되지 않은 환경에서의 시청 조건에서 커뮤니티 기반 방법의 성능이 실험실 제어 환경과 비교해 어떻게 달라지는가?
• RQ3 튜토리얼 기반 스크리닝과 응답 검증이 대규모 시선 데이터 수집에서 데이터 품질을 얼마나 향상시킬 수 있는가?
• RQ4 시선 샘플의 시간적 희소성에도 불구하고, 이 방법이 동적 영상 자극에서 주의 패턴을 신뢰성 있게 캡처할 수 있는가?
• RQ5 커뮤니티 기반으로 수집된 시선 분포가 제어된 실험실 실험에서의 결과와 얼마나 유사한가?

주요 결과

• 커뮤니티 기반 방법으로 생성된 시선 히트맵은 기존 하드웨어 시선 추적 기술로 얻은 결과와 통계적으로 유사했으며, 낮은 시간 해상도에도 불구하고 정확도가 검증되었다.
• 십개의 튜토리얼 시험 중 두 번만 통과한 참가자들도 여전히 높은 품질의 시선 데이터를 생성했으며, 이는 튜토리얼 메커니즘이 시선 위치에 대한 주의를 효과적으로 유도한다는 것을 시사한다.
• 고유한 트리플릿을 가진 문자 차트의 사용은 정확한 공간 매핑을 가능하게 하였고, 유효하지 않은 응답의 자동 탐지도 가능하게 하였다.
• 이 방법은 화면 해상도, 밝기, 시청 거리의 변동 등 다양한 시청 조건에서도 강건성을 보였지만, 실험실 설정과 비교해 변동성이 증가하는 경향을 보였다.
• 시스템은 대규모 유튜브 영상에 대한 시선 데이터를 성공적으로 수집하여, 전통적 방법으로는 불가능한 글로벌 인구 통계 연관 분석을 가능하게 하였다.
• 연구에서 시선 패턴이 화면 대비와 주변 조명 조건에 따라 크게 달라지는 것으로 나타나, 생태학적 타당성과 데이터 일관성 사이의 상충 관계를 부각시켰다.