[논문 리뷰] Human Attention Estimation for Natural Images: An Automatic Gaze Refinement Approach

Jinsoo Choi, Tae-Hyun Oh외 1명|arXiv (Cornell University)|2016. 01. 12.

Visual Attention and Saliency Detection참고 문헌 47인용 수 4

한 줄 요약

이 논문은 표준 웹캠 기반의 눈동자 추적과 계산적 쇼킹 모델을 통합하여, 사용자 참여 없이 실시간으로 자연 이미지 내 인간의 주의 영역을 추정하는 암묵적이고 사용자 무관(사용자에 관계없이 적용 가능한) 방법을 제안한다. 웹캠 기반의 눈동자 추적과 점진적 GMM 클러스터링, 쇼킹 모델 정밀화를 활용함으로써, 수동적 사용자 참여를 통해 개인의 주의 선호도를 학습하며, 정확한 개인 맞춤형 쇼킹 지도를 도출하고, 개인화된 사진 검색 및 태그 제안과 같은 응용 프로그램을 가능하게 한다.

ABSTRACT

Photo collections and its applications today attempt to reflect user interactions in various forms. Moreover, photo collections aim to capture the users' intention with minimum effort through applications capturing user intentions. Human interest regions in an image carry powerful information about the user's behavior and can be used in many photo applications. Research on human visual attention has been conducted in the form of gaze tracking and computational saliency models in the computer vision community, and has shown considerable progress. This paper presents an integration between implicit gaze estimation and computational saliency model to effectively estimate human attention regions in images on the fly. Furthermore, our method estimates human attention via implicit calibration and incremental model updating without any active participation from the user. We also present extensive analysis and possible applications for personal photo collections.

연구 동기 및 목표

• 활성 사용자 참여나 전용 하드웨어 없이 자연 이미지 내 인간의 주의 영역을 추정하기 위해.
• 암묵적 눈동자 추정을 계산적 쇼킹 모델과 통합하여 개인의 시각 행동 기반으로 주의 지도를 정밀화하기 위해.
• 사진 시각화를 통한 수동 관찰을 통해 실시간으로 점진적인 학습을 통해 개인 맞춤형 주의 선호도를 학습하기 위해.
• 개인 사진 컬렉션에서 쇼킹 지도 정밀화, 태그 제안, 주의 기반 사진 검색과 같은 실용적 응용을 보여주기 위해.
• 표준 웹캠과 최소한의 캘리브레이션을 사용하여 실생활에 구현 가능한 확장 가능한 오프더쇼프 솔루션 개발하기 위해.

제안 방법

• 자연스러운 사진 시각화 중 눈동자 위치를 웹캠으로 촬영하여, 명시적 사용자 입력 없이 암묵적 캘리브레이션을 가능하게 한다.
• 시간이 지남에 따라 사용자 고유의 눈동자 분포 패턴을 학습하기 위해 점진적 가우시안 혼합 모델(GMM) 클러스터링을 적용한다.
• 학습된 눈동자 분포를 사전 훈련된 계산적 쇼킹 모델과 모드 탐색 융합을 통해 주의 지도를 정밀화한다.
• 실시간으로 GMM 및 가우시안 프로세스 회귀(GPR) 모델을 업데이트할 수 있는 효율적인 점진적 학습 파이프라인을 구현한다.
• 사진 검색 작업을 위해 정규화된 쇼킹 지도 겹침 기반 유사도 메트릭(\text{Sim}(s,t) = \int \min(s(x), t(x)) \, dx)을 사용한다.
• 계산 비용을 줄이기 위해 GMM 파라미터(평균, 공분산, 가중치, 카운트 추정치)를 저장하고 업데이트한다.

실험 결과

연구 질문

• RQ1 표준 웹캠에서의 암묵적 눈동자 추정이 활성 사용자 캘리브레이션 없이도 개인의 주의 선호도를 효과적으로 포착할 수 있는가?
• RQ2 눈동자 데이터와 계산적 쇼킹 모델의 통합이 자연 환경에서 인간의 주의 예측 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 눈동자 데이터를 통한 점진적 모델 업데이트가 수동적이고 간섭 없는 방식으로 시간이 지남에 따라 개인 맞춤화를 얼마나 향상시키는가?
• RQ4 제안된 방법이 쇼킹 지도 정밀화 및 주의 기반 사진 검색과 같은 실용적인 사용자 맞춤형 응용을 가능하게 할 수 있는가?
• RQ5 실제 사용자 데이터 기반으로 최신 기술의 쇼킹 모델과 비교했을 때, 이 방법은 개인 맞춤화 및 성능 측면에서 어떤가?

주요 결과

• 눈동자 데이터와 계산적 쇼킹 모델을 융합함으로써 제안된 방법은 단독 쇼킹 모델에서 흔히 발생하는 오진 양성(false positives)을 크게 줄이며 정확한 개인 맞춤형 쇼킹 지도를 도출한다.
• 점진적 GMM 클러스터링은 최소한의 계산 오버헤드로 효과적인 사용자 고유 모델 적응을 가능하게 하며, 100회 이내에 수렴한다.
• 시스템은 일반적인 사진 시각화 과정 동안 수동적으로 사용자 주의 선호도를 학습하며, 명시적 훈련이나 상호작용 단계가 필요하지 않다.
• 개인 주의 영역을 쿼리로 사용하여 효과적인 사진 검색을 가능하게 하며, 상위 랭크 결과가 사용자 관심 영역과 일치한다.
• 태그 제안 응용에서는 전통적인 얼굴 검출 기반 방법보다 뛰어나며, 자주 간과되는 비얼굴 영역의 고주목 영역에 태그를 제안한다.
• 10명의 피험자에 대해 일관된 성능 향상을 보이며, 개인 맞춤 설정에서 기준 쇼킹 모델 대비 뛰어난 성능 향상을 입증한다.