[논문 리뷰] GazeDPM: Early Integration of Gaze Information in Deformable Part Models

Iaroslav Shcherbatyi, Andreas Bulling외 1명|arXiv (Cornell University)|2015. 05. 21.

Visual Attention and Saliency Detection참고 문헌 26인용 수 10

한 줄 요약

이 논문은 변형 가능한 부분 모델 프레임워크 내에서 시각적 특징과 인간의 시선 정지 현상을 공동으로 모델링하는 새로운 조기 통합 방법인 GazeDPM을 제안한다. 이는 객체 검출 성능을 크게 향상시키며, POET 데이터셋에서 DPM 기준선 대비 4.3% mAP 향상과 최근의 후기 통합 방법 대비 3.9% 향상을 달성한다. 또한 모델 내분석 능력과 시선 노이즈 및 자극도 맵 대체에 대한 강건성을 제공한다.

ABSTRACT

An increasing number of works explore collaborative human-computer systems in which human gaze is used to enhance computer vision systems. For object detection these efforts were so far restricted to late integration approaches that have inherent limitations, such as increased precision without increase in recall. We propose an early integration approach in a deformable part model, which constitutes a joint formulation over gaze and visual data. We show that our GazeDPM method improves over the state-of-the-art DPM baseline by 4% and a recent method for gaze-supported object detection by 3% on the public POET dataset. Our approach additionally provides introspection of the learnt models, can reveal salient image structures, and allows us to investigate the interplay between gaze attracting and repelling areas, the importance of view-specific models, as well as viewers' personal biases in gaze patterns. We finally study important practical aspects of our approach, such as the impact of using saliency maps instead of real fixations, the impact of the number of fixations, as well as robustness to gaze estimation error.

연구 동기 및 목표

• 후기 통합 방법의 한계를 극복하기 위해, 시선 지원 객체 검출에서 재현율 향상이 불가능하고 다중 모odal 간 공동 모델링가 부족한 점을 해결한다.
• 시선과 시각 데이터를 최초 단계부터 공동으로 통합하는 제안된 공식을 개발하여 더 풍부한 모델 내분석과 시선-시각 상관관계의 효과적 활용을 가능하게 한다.
• 실제 환경 제약 조건(예: 노이즈가 많은 시선 데이터, 정지 기록 부재) 하에서 시선 강화 검출의 실용적 타당성을 평가한다.
• 자극도 맵이 실제 정지 데이터로 대체 가능할지 탐색한다.

제안 방법

• 변형 가능한 부분 모델(DPM)을 확장하여 기울기 패턴과 시선 정지 패턴을 통합된 확률적 공식을 통해 공동으로 모델링한다.
• 실제 눈 추적 데이터로부터 정지 밀도 맵을 구성하여 인간 주의의 공간 분포를 표현한다.
• 시각적 특징과 시선 특징을 하나의 분류 모델에 통합하여 이미지 콘텐츠와 관찰자 주의에 민감한 부분 구성 방식을 학습한다.
• 가우스 노이즈 모델링을 사용하여 시선 추정 오차를 시뮬레이션하고 현실적인 노이즈 수준에서의 강건성을 평가한다.
• 아우트라이어링 자극도 모델(GSBS 및 BMS)을 사용하여 추론 실험을 위한 합성 정지 맵을 생성한다.
• 학습된 모델 구성 요소를 시각화하여 주의를 끄는 영역, 주의를 피하는 영역, 시야별 패턴, 개인별 시선 편향을 분석한다.

실험 결과

연구 질문

• RQ1 변형 가능한 부분 모델에서 시선과 시각 데이터를 조기에 통합하면 기존의 후기 통합 방법보다 객체 검출 성능에서 뛰어나지 않는가?
• RQ2 실제 정지 데이터 대비 이미지 데이터만으로 생성한 자극도 맵을 사용할 경우, 제안된 방법의 성능는 어떻게 변화하는가?
• RQ3 특히 현실적인 센서 제약 조건 하에서, GazeDPM 모델은 시선 추정 오차에 얼마나 강건한가?
• RQ4 내부 구조를 시각화함으로써 주의 패턴과 객체 인지에 대한 통찰은 무엇인가?
• RQ5 개인의 시선 편향과 시야별 검출 패턴은 모델 성능와 해석 가능성에 어떻게 영향을 미치는가?

주요 결과

• GazeDPM는 POET 데이터셋에서 표준 DPM 기준선 대비 평균 평균 정밀도(mAP)에서 4.3% 향상된다.
• 최근의 후기 통합 방법(시선 데이터로 검출 재순위 매기기)과 비교해 3.9% mAP 향상된다.
• 이미지 높이의 약 ±20% 표준편차에 해당하는 시뮬레이션된 시선 노이즈 조건에서도 GazeDPM는 DPM 대비 1% mAP 향상을 유지한다.
• 실제 정지 데이터 대신 자극도 맵을 사용할 경우, GBVS를 사용하면 0.8% mAP 향상, BMS를 사용하면 1% mAP 향상 달성하여 전역 자극도 특징이 실제 시선 데이터를 부분적으로 대체할 수 있음을 시사한다.
• 모델 시각화 결과는 주목할 만한 이미지 구조를 확인하고, 주의를 끄는 영역와 주의를 피하는 영역를 식별하며, 개인별 편향과 시야에 따라 달라지는 검출 패턴을暴露한다.
• 모델는 시선 추정 오차에 대해 강건하며, 현실적인 센서 정확도를 초월하는 고수준의 노이즈 수준에서 성능 저하가 발생하기 이르기까지는 성능 유지한다.