[논문 리뷰] Efficient CNN Implementation for Eye-Gaze Estimation on Low-Power/Low-Quality Consumer Imaging Systems

Joseph Lemley, Anuradha Kar외 2명|arXiv (Cornell University)|2018. 06. 28.

Gaze Tracking and Assistive Technology참고 문헌 52인용 수 12

한 줄 요약

이 논문은 저전력, 저해상도 소비자용 카메라에서 효율적인 눈동자 방향 추정을 위한 경량이며 하드웨어 최적화된 합성곱 신경망(CNN)을 제안한다. 이중 눈 입력과 무작위 리사이징 데이터 증강 기법을 활용하여, 실제 제약 조건이 있는 환경에서 MPII-Gaze 데이터셋에서 3.65°의 최신 기술 수준 정확도를 달성하며, 계산 비용을 최소화하면서도 더 큰 네트워크와 기존 방법들을 능가한다.

ABSTRACT

Accurate and efficient eye gaze estimation is important for emerging consumer electronic systems such as driver monitoring systems and novel user interfaces. Such systems are required to operate reliably in difficult, unconstrained environments with low power consumption and at minimal cost. In this paper a new hardware friendly, convolutional neural network model with minimal computational requirements is introduced and assessed for efficient appearance-based gaze estimation. The model is tested and compared against existing appearance based CNN approaches, achieving better eye gaze accuracy with significantly fewer computational requirements. A brief updated literature review is also provided.

연구 동기 및 목표

• 저복잡도이며 실시간으로 작동하는 눈동자 방향 추정 시스템을 개발하여 저전력, 저품질 소비자 영상 장치에 배포 가능하도록 한다.
• 제약 조건이 있는 환경에서 주로 변동하는 피험자 거리와 저해상도 입력으로 인한 정확도 저하 문제를 해결한다.
• 모델 크기나 추론 비용을 늘리지 않고도 이중 눈 입력과 데이터 증강을 통해 눈동자 방향 추정 성능을 향상시킨다.
• 임베디드 및 모바일 플랫폼에서 흔히 볼 수 있는 메모리 및 속도 제약 조건을 고려해 최적화된 CNN 아키텍처를 설계한다.
• MPII-Gaze 벤치마크에서 기존의 CNN 기반 눈동자 방향 추정 방법들보다 뛰어난 정확도를 입증한다.

제안 방법

• 좌우 눈 이미지를 동시에 처리하는 이중 채널 CNN 아키텍처를 사용하여 정확도와 내성 강도를 향상시킨다.
• 블록 단위로 스택된 3×3 합성곱 레이어를 사용하여 파rameter 수와 계산 부담을 줄이되, 더 큰 커널과 동일한 수신장(Receptive Field)을 유지한다.
• 학습 중에 무작위 리사이징(가장 가까운 이웃 보간법 사용)을 적용하여 다양한 피험자 거리 조건을 시뮬레이션하고 내성 강도를 향상시킨다.
• 추론 시 Lanczos 필터링을 사용하여 이미지 품질을 유지하고 특정 보간 방법에 의한 편향을 방지한다.
• 다양한 해상도(예: 36×60, 31×52, 26×16)를 사용한 데이터 증강을 구현하여 실제 시각 거리 범위에서의 일반화 능력을 향상시킨다.
• 저해상도 눈 이미지에서 직접 눈동자 각도(φ, θ)를 예측하는 회귀 작업으로 네트워크를 학습시킨다.

실험 결과

연구 질문

• RQ1 컴팩트하고 하드웨어 최적화된 CNN은 저해상도, 소비자용 카메라에서 높은 눈동자 방향 추정 정확도를 달성할 수 있는가?
• RQ2 저품질 영상 조건에서 이중 눈 입력이 단일 눈 입력에 비해 눈동자 방향 추정 성능을 얼마나 향상시키는가?
• RQ3 다양한 해상도에서 무작위 리사이징을 통한 데이터 증강이 피험자 거리 변화에 대한 모델의 내성 강도 향상에 얼마나 기여하는가?
• RQ4 실제 눈동자 방향 추정 작업에서 더 큰, 더 복잡한 모델에 비해 경량 CNN 아키텍처가 정확도와 효율성 측면에서 뛰어난 성능을 낼 수 있는가?
• RQ5 커널 크기와 네트워크 깊이가 눈동자 방향 추정에서 정확도와 계산 효율성에 미치는 영향은 어떠한가?

주요 결과

• 제안된 모델은 36×60 해상도에서 MPII-Gaze 데이터셋에서 평균 눈동자 오차 3.65°를 달성하여 이전 최신 기술 수준 방법들을 크게 능가한다.
• 이중 눈 입력은 저품질 눈 이미지에서의 모호함을 해결할 수 있게 하여, 특히 어두운 조명 조건이나 가림 상황에서도 정확도를 향상시킨다.
• 다양한 해상도에서 무작위 리사이징을 통한 데이터 증강으로 오차가 4.917°에서 3.65°로 감소하여 피험자 거리 변화에 대한 강건성(로버스트니)이 뛰어나다는 것을 입증한다.
• 모델은 다양한 해상도에서도 높은 성능을 유지하며, 31×52 해상도에서 오차 4.169°, 26×16 해상도에서 오차 4.240°를 기록하여 스케일링에 대한 강건성을 보여준다.
• 더 큰 커널 대비 스택된 3×3 합성곱 레이어의 사용은 FLOPs와 모델 크기를 줄이면서도 성능을 유지함으로써 아키텍처의 효율성을 확인한다.
• 더 큰 네트워크(예: 4.8° 오차)를 포함한 기존 문헌의 모델들보다도 성능이 뛰어나, 컴팩트성과 효율성이 정확도를 훼손하지 않음을 입증한다.