[논문 리뷰] A Convolutional Neural Network for gaze preference detection: A potential tool for diagnostics of autism spectrum disorder in children

Dennis Fernandez, Franklin Porras-Barrientos외 4명|arXiv (Cornell University)|2020. 07. 28.

Autism Spectrum Disorder Research참고 문헌 26인용 수 9

한 줄 요약

이 논문은 자폐 스펙트럼 장애(ASD)를 나타내는 눈의 주의 패턴을 탐지하기 위해 어린이들이 1분 분량의 영상에서 사회적 요소와 추상적 요소가 짝지어진 장면을 시청하는 동안의 눈동자 추적 데이터를 분석하는 컨볼루션 신경망(CNN)을 제안한다. 이 모델은 다양한 개인과 카메라에서 눈의 주의 방향을 높은 정확도와 강건성으로 예측할 수 있어, 임상적 및 저자원 환경에서 근접 실시간, 저자원 진단 걸러내기 위한 가능성을 제공한다.

ABSTRACT

Early diagnosis of autism spectrum disorder (ASD) is known to improve the quality of life of affected individuals. However, diagnosis is often delayed even in wealthier countries including the US, largely due to the fact that gold standard diagnostic tools such as the Autism Diagnostic Observation Schedule (ADOS) and the Autism Diagnostic Interview-Revised (ADI-R) are time consuming and require expertise to administer. This trend is even more pronounced lower resources settings due to a lack of trained experts. As a result, alternative, less technical methods that leverage the unique ways in which children with ASD react to visual stimulation in a controlled environment have been developed to help facilitate early diagnosis. Previous studies have shown that, when exposed to a video that presents both social and abstract scenes side by side, a child with ASD will focus their attention towards the abstract images on the screen to a greater extent than a child without ASD. Such differential responses make it possible to implement an algorithm for the rapid diagnosis of ASD based on eye tracking against different visual stimuli. Here we propose a convolutional neural network (CNN) algorithm for gaze prediction using images extracted from a one-minute stimulus video. Our model achieved a high accuracy rate and robustness for prediction of gaze direction with independent persons and employing a different camera than the one used during testing. In addition to this, the proposed algorithm achieves a fast response time, providing a near real-time evaluation of ASD. Thereby, by applying the proposed method, we could significantly reduce the diagnosis time and facilitate the diagnosis of ASD in low resource regions.

연구 동기 및 목표

• 컴퓨터 시각 기반으로 어린이의 주의 패턴을 신속하고 정확하며 강건하게 탐지하는 방법을 개발하기 위해.
• 임상적 및 저자원 환경에서 빠르고 전문 지식이 적은 평가를 가능하게 하여 자폐 스펙트럼 장애(ASD)의 진단 지연을 줄이기 위해.
• 자폐 스펙트럼 장애를 가진 어린이와 정상 발달 어린이 간의 주의 패턴 차이—특히 사회적 자극 대비 추상적 자극에 대한 더 높은 주의를 집중적으로 분석하기 위해.
• 최소한의 校정을 필요로 하며 실시간으로 구동될 수 있도록, 확장 가능한 조기 진단을 지원하는 도구를 만들기 위해.
• 다양한 카메라와 훈련 데이터에 포함되지 않은 개인에 대해 성능을 검증하여 일반화 가능성 확보하기 위해.

제안 방법

• 모델은 사회적 요소와 추상적 요소가 함께 배치된 1분 분량의 영상 자극에서 추출한 이미지를 처리하기 위해 컨볼루션 신경망(CNN)을 사용한다.
• 입력 이미지는 CNN을 통해 주의 방향을 예측하며, 주의가 사회적 자극인지 추상적 자료인지에 중점을 둔다.
• 네트워크는 제시된 영상 자극에 노출된 동안 수집된 눈동자 추적 데이터를 기반으로 훈련된다.
• 훈련 세트에 포함되지 않은 다른 카메라와 개인에 대한 데이터를 대상으로 강건성 평가가 수행된다.
• 실시간 추론을 위해 설계되어 진단 세션 중 근접 실시간 주의 예측이 가능하다.
• 일반화 성능 향상과 과적합 방지를 위해 데이터 증강 및 교차 검증 기법이 사용된다.

실험 결과

연구 질문

• RQ1 1분 분량의 영상에서의 시각 자극을 바탕으로 CNN이 어린이의 주의 방향을 정확하게 예측할 수 있는가?
• RQ2 훈련 세트에 포함되지 않은 다른 카메라와 개인의 데이터를 대상으로 테스트했을 때 주의 예측 모델의 강건성은 어느 정도인가?
• RQ3 이 모델이 어린이의 자폐 스펙트럼 장애(ASD)에 대한 빠르고 자원이 적은 걸러내기 작업을 어느 정도 지원할 수 있는가?
• RQ4 이 모델은 알려진 ASD 관련 주의 패턴—즉, 사회적 자극 대비 추상적 자극에 대한 더 높은 주의를 신뢰성 있게 탐지할 수 있는가?
• RQ5 이 모델은 임상 현장에 배포하기에 적합한 실시간 성능을 달성할 수 있는가?

주요 결과

• 제안된 CNN은 훈련 세트에 포함되지 않은 다른 카메라와 개인의 데이터를 대상으로 테스트했을 때도 높은 정확도로 주의 방향을 예측하는 데 성공했다.
• 모델은 다양한 촬영 조건에서도 강건성을 보이며, 다양한 임상 환경에 일반화 가능함을 시사했다.
• 시스템은 근접 실시간 평가가 가능하여 기존의 ADOS나 ADI-R와 같은 전통적 도구에 비해 진단 시간을 크게 단축시켰다.
• 이 방법은 ASD와 관련된 주의 패턴—즉, 사회적 자극 대비 추상적 자극에 대한 더 높은 주의를 효과적으로 포착하여 진단적 관련성을 뒷받침했다.
• 모델의 성능은 전문의가 부족한 저자원 환경에서의 배포 잠재력을 시사한다.
• 이 접근법은 시간과 전문 지식이 많이 소요되는 기존의 진단 방법에 대한 확장 가능한 자동화된 대안을 제공한다.