[논문 리뷰] SideEye: A Generative Neural Network Based Simulator of Human Peripheral Vision

Lex Fridman, Benedikt Jenik외 4명|arXiv (Cornell University)|2017. 06. 14.

Advanced Vision and Imaging참고 문헌 31인용 수 10

한 줄 요약

이 논문은 인간의 주변시각을 21,000배 빠른 추론 속도로 시뮬레이션할 수 있는 생성형 신경망(FGN)인 SideEye를 소개한다. 기존 행동 검증 모델 대비 21,000배 빠른 추론 속도를 달성하며, 텍스처 통계 기반의 전체 영역 합성 모델을 기반으로 엔드 투 엔드로 훈련된 FGN는 실시간 주변시각 시뮬레이션(이미지당 0.7초 대비 4.2시간)을 가능하게 하여 인터페이스 설계, 사용성 테스트, 로고 인식 분석 등 실용적 응용을 가능하게 한다.

ABSTRACT

Foveal vision makes up less than 1% of the visual field. The other 99% is peripheral vision. Precisely what human beings see in the periphery is both obvious and mysterious in that we see it with our own eyes but can't visualize what we see, except in controlled lab experiments. Degradation of information in the periphery is far more complex than what might be mimicked with a radial blur. Rather, behaviorally-validated models hypothesize that peripheral vision measures a large number of local texture statistics in pooling regions that overlap and grow with eccentricity. In this work, we develop a new method for peripheral vision simulation by training a generative neural network on a behaviorally-validated full-field synthesis model. By achieving a 21,000 fold reduction in running time, our approach is the first to combine realism and speed of peripheral vision simulation to a degree that provides a whole new way to approach visual design: through peripheral visualization.

연구 동기 및 목표

• 행동 검증 모델과 정확히 일치하는 빠르고 현실적인 인간 주변시각 시뮬레이션을 개발하기 위해.
• 디자인 및 HCI 연구에서의 실용적 사용을 위해 주변시각 시각화의 실행 시간을 수시간에서 밀리초 수준으로 단축하기 위해.
• 동적 설계 탐색 및 사용성 평가를 위한 실시간 중심집중 이미지 생성을 가능하게 하기 위해.
• 특히 혼잡하거나 복잡한 시각적 장면에서 사용자가 한눈에 무엇을 인지하는지 예측할 수 있도록 디자이너와 연구자에게 도구를 제공하기 위해.
• 기존 주변시각 모델의 기능을 확장하여 행동 테스트 및 가상현실 응용 분야에서 고속도의 중심집중 이미지 생성을 가능하게 하기 위해.

제안 방법

• 중심집중 생성 신경망(FGN)은 인간 주변시각의 통계적 특성과 일치하는 중심집중 출력으로 전체 영역 이미지를 매핑하도록 엔드 투 엔드로 훈련된다.
• FGN은 주변부에서 증가하는 크기의 겹치는 풀링 영역을 기반으로 한 행동 검증 모델인 텍스처 전이 모델(TTM)을 사용해 합성된 대규모 이미지 데이터셋에서 학습한다.
• 네트워크 아키텍처는 공간 중심집중을 통합하여 중심 영역은 유지하면서 주변 영역는 학습된 텍스처 통계에 따라 점차적으로 열악하게 처리한다.
• 훈련은 FGN 출력이 TTM가 생성한 중심집중 이미지와 일치하도록 하는 인지적 손실 함수를 사용하여 수행되며, 생물학적 타당성을 보장한다.
• 학습된 매핑을 활용해 실시간 추론을 지원함으로써 동적 고정점 기반 상호작용 시각화가 가능하다.
• SideEye 온라인 도구를 통해 사용자는 디자인을 업로드하고 선택한 고정점 기반으로 주변시각에서 어떻게 보이는지 즉각적으로 시각화할 수 있다.

실험 결과

연구 질문

• RQ1 깊이 생성 신경망을 사용해 인간 주변시각을 고도로 인지적 정확도로 정확하게 시뮬레이션할 수 있는가?
• RQ2 학습된 모델이 중심집중 이미지 생성의 계산 비용을 얼마나 줄일 수 있으며, 同시에 현실감을 유지할 수 있는가?
• RQ3 FGN은 실제 시각 작업, 예를 들어 로고 인식 및 인터페이스 사용성과 같은 과제에서 인간의 인지 성능을 얼마나 효과적으로 예측할 수 있는가?
• RQ4 실시간 주변시각 시뮬레이션은 HCI 및 사용자 경험 연구 분야에서 새로운 설계 및 평가 워크플로우를 가능하게 하는가?
• RQ5 복잡한 장면과 텍스트, 아이콘과 같은 상징적 요소를 포함한 다양한 시각 자극에 대해 모델의 성능는 어떻게 스케일링되는가?

주요 결과

• FGN은 실행 시간을 4.2시간에서 이미지당 0.7초로 21,000배 단축시켰다.
• FGN가 생성한 중심집중 이미지는 행동 검증 모델인 TTM가 생성한 이미지와 인지적으로 일관되며, 주변시각의 신뢰성 있는 시뮬레이션을 가능하게 한다.
• SideEye 도구는 주변 인지 시각화를 실시간으로 지원하여 동적 설계 반복 및 인터페이스 레이아웃의 A/B 테스트를 가능하게 한다.
• 사례 연구에서 모델은 재설계된 웹사이트 레이아웃이 CTA 버튼과 같은 핵심 요소의 시각적 강조도를 높였음을 예측했으며, 이는 사용자 클릭률 증가와 상관관계를 보였다.
• 로고 분석 결과, Spotify, Airbnb, Google의 최신 버전 로고는 eBay나 스타벅스처럼 리디자인된 버전보다 주변부에서 더 잘 인식 가능하다.
• 모델은 사용자 고정점 패턴을 기반으로 실험 중에 실시간으로 수백 개의 중심집중 이미지를 생성함으로써 빠른 행동 평가를 지원한다.