[논문 리뷰] Drivers' attention detection: a systematic literature review

Luiz Gustavo D. O. Veras, Anna Karina Fontes Gomes외 2명|arXiv (Cornell University)|2022. 04. 06.

Human-Automation Interaction and Safety인용 수 4

한 줄 요약

이 체계적 문헌 고찰은 이미지 기반 운전자 주의 집중도 검출과 관련된 50篇의 연구를 분석하여, 얼굴 특징점 추적, 눈 움직임 추적, 머리 자세 추정과 같은 기법을 사용한 22개의 관련 주요 연구를 규명하였다. 주요 기여는 주의 기준, 검출 기법, 센서 사용에 대한 종합적 분석으로, 특히 머리 자세(21개 인용)와 눈 상태(18개 인용)가 가장 흔하게 사용됨을 확인하였다. 이는 향후 ADAS 개발 및 운전자 주의산만 및 피로도 검출 분야의 연구에 기초를 마련한다.

ABSTRACT

Countless traffic accidents often occur because of the inattention of the drivers. Many factors can contribute to distractions while driving, since objects or events to physiological conditions, as drowsiness and fatigue, do not allow the driver to stay attentive. The technological progress allowed the development and application of many solutions to detect the attention in real situations, promoting the interest of the scientific community in these last years. Commonly, these solutions identify the lack of attention and alert the driver, in order to help her/him to recover the attention, avoiding serious accidents and preserving lives. Our work presents a Systematic Literature Review (SLR) of the methods and criteria used to detect attention of drivers at the wheel, focusing on those methods based on images. As results, 50 studies were selected from the literature on drivers' attention detection, in which 22 contain solutions in the desired context. The results of SLR can be used as a resource in the preparation of new research projects in drivers' attention detection.

연구 동기 및 목표

• 이미지 기반 기법을 사용하여 운전자 주의 집중도를 검출하는 기존의 계산 기반 방법을 식별하고 종합하는 것.
• 현재 연구에서 사용된 주의 기준(예: 주의산만, 피로, 졸림 등)을 분석하는 것.
• 운전자 주의도 시스템에서 사용된 검출 기법, 센서, 데이터 처리 방법을 평가하는 것.
• 연구자 및 개발자가 중복된 작업을 피하고 향후 ADAS 연구를 안내할 수 있도록 체계적인 참고 자료를 제공하는 것.
• 다양한 주의 요소의 통합에 관한 연구 격차와 저전력 플랫폼에 솔루션을 통합하는 데의 가능성을 규명하는 것.

제안 방법

• 정의된 프로토콜에 따라 8단계로 구성된 체계적 문헌 고찰(SLR)을 수행: 주제 정의, 프로토콜 개발, 문헌 검색, 중복 검사, 선별 기준 적용, 데이터 추출, 검증, 결과 분석.
• 운전자 주의 집중도 검출, 이미지 처리, ADAS와 관련된 关련 키워드를 사용해 학술 데이터베이스를 검색하고, 포함 및 배제 기준을 적용하여 관련 연구를 걸러내는 작업.
• 초기 50개 연구에서 논문 연도, 저자, 검출 기법, 주의 기준, 사용된 센서, 검출 전략 등의 데이터를 추출.
• 실제 운전 환경에서 이미지 기반 운전자 주의 집중도 검출에 부합하는 기준을 충족한 22개의 주요 연구를 선별.
• 주의 요소(예: 눈 상태, 머리 자세, 얼굴 특징 등)를 기반으로 기법을 분류하고 빈도 매트릭스를 활용해 기법과 요소를 매핑.
• 팀의 공감대 및 제3자 평가를 통해 검토 과정을 검증하여 리뷰어 편향을 최소화하고 재현 가능성을 확보.

실험 결과

연구 질문

• RQ1 이미지 기반 운전자 주의 집중도 검출 시스템에서 가장 흔하게 사용되는 주의 기준(예: 주의산만, 피로, 졸림 등)은 무엇인가?
• RQ2 현재 운전자 주의 집중도 검출 연구에서 가장 자주 사용되는 검출 기법과 센서는 무엇인가?
• RQ3 기존 솔루션에서 다양한 주의 요소(예: 눈 상태, 머리 자세, 얼굴 특징 등)는 어떻게 통합되거나 개별적으로 사용되는가?
• RQ4 다양한 주의 요소의 통합 또는 임베디드 또는 클라우드 기반 플랫폼에 시스템을 구현하는 데 있어 현재 연구의 격차는 무엇인가?
• RQ5 ADAS 응용 분야에서 실시간으로 저자원 환경에서도 구현 가능한 잠재력이 가장 높은 기법은 무엇인가?

주요 결과

• 머리 자세가 가장 자주 언급된 주의 요소로 21개 연구에서 나타났고, 이어 눈 상태가 18개 연구에서 사용되어 얼굴의 움직임과 눈의 행동에 대한 강한 의존도를 보였다.
• 비올라-존스 특징 검출 방법과 서포트 벡터 머신(SVM)이 각각 11개 및 10개 연구에서 가장 흔하게 사용되어 초기 단계 검출에서의 확립된 역할을 확인하였다.
• 다층 컨볼루션 신경망(CNN)과 멀티스트림 신경망이 각각 7개 및 6개 연구에서 증가하는 추세를 보이며, 최근 몇 년간 딥러닝으로의 전환을 반영하고 있다.
• PERCLOS(눈 감는 비율)는 11개 연구에서 피로도 검출의 핵심 지표로 사용되어 졸림 평가에서의 주요한 지위를 확인하였다.
• 입 상태 또는 입술 상태를 특징으로 사용한 연구는 오직 7개에 불과하여, 인지적 주의산만을 탐지할 잠재력이 있음에도 불구하고 여전히 활용이 부족한 것으로 나타났다.
• 연구 간 표준화된 평가의 부족이 드러났으며, 최적의 기법과 주의 요소 조합에 대한 합의가 없어 향후 연구에서 벤치마킹 프레임워크가 필요하다는 점을 시사하였다.