[논문 리뷰] Fast camera focus estimation for gaze-based focus control

Wolfgang Fuhl, Thiago Santini외 1명|arXiv (Cornell University)|2017. 11. 09.

Image Processing Techniques and Applications참고 문헌 3인용 수 38

한 줄 요약

이 논문은 눈동자 추적을 활용해 사용자의 관심 영역으로 동적으로 초점을 이동시키는 실시간, 시선 기반 자동 초점 조절 시스템을 제안한다. 다초점 영상에서 그래프 기반 접근 방식을 통해 깊이 맵을 추정함으로써, 단일 i5 코어에서 프레임당 약 20ms의 처리 시간을 달성하며, 최신 기술 수준의 정확도를 유지하면서도 최소한의 계산 비용과 파rameter 조정 없이 구현한다.

ABSTRACT

Many cameras implement auto-focus functionality. However, they typically require the user to manually identify the location to be focused on. While such an approach works for temporally-sparse autofocusing functionality (e.g., photo shooting), it presents extreme usability problems when the focus must be quickly switched between multiple areas (and depths) of interest - e.g., in a gaze-based autofocus approach. This work introduces a novel, real-time auto-focus approach based on eye-tracking, which enables the user to shift the camera focus plane swiftly based solely on the gaze information. Moreover, the proposed approach builds a graph representation of the image to estimate depth plane surfaces and runs in real time (requiring ~20ms on a single i5 core), thus allowing for the depth map estimation to be performed dynamically. We evaluated our algorithm for gaze-based depth estimation against state-of-the-art approaches based on eight new data sets with flat, skewed, and round surfaces, as well as publicly available datasets.

연구 동기 및 목표

• 수동 또는 중심점 초점 선택에 의존하는 전통적인 자동 초점 시스템의 사용성 한계를 해결하기 위해.
• 실시간으로 다수의 관심 영역 간에 빠르고 동적으로 초점을 전환할 수 있도록 하기 위해.
• 눈동자 추적 데이터를 활용해 직관적인 사용자 제어를 가능하게 하는 시신경 기반 자동 초점 조절 시스템을 개발하기 위해.
• 수술, 보안 및 인간-로봇 협업과 같은 상호작용 응용 프로그램에 적합한 고속 깊이 맵 추정을 달성하기 위해.

제안 방법

• 각 장면에 대해 다양한 초점 거리에서 19장의 영상을 촬영하여 초점 스택을 형성한다.
• 각 픽셀의 국소적 초점 품질을 추정하기 위해 초점 측정 연산자(예: 기울기, 통계적, 주파수 기반)를 적용한다.
• 초점 측정 값에서 델로아니 삼각형 기반의 그래프 표현을 구성하여 깊이 표면을 모델링한다.
• 최대 초점 반응 노드(G_max)를 선택하고 깊이를 보간하기 위한 그래프를 구축하며, 표면 재구성 향상을 위해 모든 노드(G_all)를 사용하는 옵션 버전도 제공한다.
• 단일 코어 CPU에서 효율적인 처리를 통해 깊이 추정을 가속화하여, 깊이 맵 계산당 약 20ms의 성능을 달성한다.
• 상용 눈동자 추적기에서 얻은 시선 위치를 추정된 깊이 맵에 매핑하여 카메라의 초점 평면을 동적으로 조정한다.

실험 결과

연구 질문

• RQ1 최소한의 계산 비용으로 실시간으로 시신경 기반 초점 제어를 구현할 수 있는가?
• RQ2 최신 기술 수준의 접근 방식과 비교해 그래프 기반 깊이 추정 방법이 다초점 영상에서 깊이를 얼마나 정확하게 재구성할 수 있는가?
• RQ3 최대 반응 노드(G_max)만 사용하는 것과 모든 노드(G_all)를 사용하는 것의 깊이 맵 품질과 계산 비용에 미치는 영향은 어떠한가?
• RQ4 평면, 기울어진, 곡면과 같은 다양한 표면 유형에서도 높은 정확도를 유지를 할 수 있는가?
• RQ5 다양한 이미지 콘텐츠와 초점 측정 신뢰도 변화 상황에서 시스템의 성능은 어떻게 되는가?

주요 결과

• 제안된 방법은 단일 i5 코어에서 프레임당 약 20ms의 처리 시간으로 깊이 맵 추정을 수행하여 실시간 성능을 달성한다.
• 새로운 8개의 데이터셋과 공개 벤치마크에서 평균 절대 오차 측면에서 최신 기술 수준의 방법과 유사한 성능을 보였다.
• 그래프 구축 시 모든 노드(G_all)를 사용할 경우, 특히 평면 영역에서 표면 재구성 정확도가 향상되지만, 약간의 실행 시간 증가(296ms 대 283ms)가 수반된다.
• 플랫, 기울어진, 둥근 표면을 포함한 다양한 표면 유형에 대해 강건한 성능을 보였으며, 'tin', 'lego steps', 'tape steps', 'plastic tower' 등의 데이터셋에서 검증되었다.
• 유효한 초점 측정 값이 존재할 경우 평면 표면을 정확히 식별하고 재구성할 수 있으나, 잘못된 또는 손실된 초점 측정 값이 있는 영역에서는 잘못된 표면을 보간할 수 있다.