[논문 리뷰] An Affordable Bio-Sensing and Activity Tagging Platform for HCI Research

Siddharth, Aashish N. Patel외 2명|arXiv (Cornell University)|2018. 02. 22.

EEG and Brain-Computer Interfaces참고 문헌 14인용 수 3

한 줄 요약

이 논문은 EEG, ECG, PPG, 시선 추적, 활동 태깅을 통합한 저비용 다중 모odal 생체 센싱 플랫폼을 제안하며, 실시간 HCI 연구에 활용한다. 중심 컴퓨팅 모듈과 내장된 카메라를 갖춘 맞춤형 헤드셋을 기반으로 하여 자연주의적 환경에서도 고해상도이고 시간에 고정된 데이터 수집을 가능하게 하며, 검증된 센서 성능으로 상용 대안을 뛰어넘거나 동등하게 제공한다.

ABSTRACT

We present a novel multi-modal bio-sensing platform capable of integrating multiple data streams for use in real-time applications. The system is composed of a central compute module and a companion headset. The compute node collects, time-stamps and transmits the data while also providing an interface for a wide range of sensors including electroencephalogram, photoplethysmogram, electrocardiogram, and eye gaze among others. The companion headset contains the gaze tracking cameras. By integrating many of the measurements systems into an accessible package, we are able to explore previously unanswerable questions ranging from open-environment interactions to emotional response studies. Though some of the integrated sensors are designed from the ground-up to fit into a compact form factor, we validate the accuracy of the sensors and find that they perform similarly to, and in some cases better than, alternatives.

연구 동기 및 목표

• 실생활 HCI 맥락에서 다중 모달 생리적 및 행동 데이터를 촬영할 수 있는 저비용이고 접근 가능한 플랫폼을 개발하는 것.
• EEG, ECG, PPG 및 시선 추적과 같은 다양한 센서로부터 실시간으로 시간에 동기화된 데이터 수집을 가능하게 하는 것.
• 통제된 환경에서 상용 기준 대비 자체 제작 센서의 정확도를 검증하는 것.
• 개방형 환경 조건에서 정서 반응과 사용자 상호작용에 관한 새로운 HCI 연구를 지원하는 것.
• 장기간 및 생태학적으로 타당한 데이터 수집을 지원하는 확장 가능하고 모듈식인 시스템을 제공하는 것.

제안 방법

• 시스템은 실시간으로 다수의 센서로부터 데이터를 집계하고 타임스탬프를 부여하며 스트리밍하기 위해 중심 컴퓨팅 모듈을 사용한다.
• 맞춤형 헤드셋은 시선 추적을 위한 이중 카메라를 탑재하고, EEG, PPG 및 ECG 센싱을 위한 전극을 통합한다.
• 신호 무결성을 유지하면서도 소형화된 형태 요소를 설계하였으며, 노이즈 감소 및 아티팩트 제거를 위한 신호 처리 파이프라인을 구현하였다.
• 모든 센서 스트림 간에 하드웨어 트리거를 이용한 타임스탬프를 통해 데이터 동기화를 달성하였다.
• 표준 인터페이스를 통해 추가 센서의 즉시 통합을 지원하는 플랫폼이다.
• 정확도와 신뢰성을 평가하기 위해 통제된 조건에서 센서 출력을 상용 장치와 비교하는 검증 실험을 실시하였다.

실험 결과

연구 질문

• RQ1 저비용으로 통합된 생체 센싱 플랫폼이 실생활 HCI 응용에서 상용 시스템과 비교해 유사하거나 우수한 신호 품질을 달성할 수 있는가?
• RQ2 생태학적으로 타당한 환경에서 다중 모달 생리적 및 행동 데이터가 얼마나 효과적으로 동기화되고 수집되는가?
• RQ3 자체 제작된 EEG, ECG, PPG 및 시선 추적 센서가 정서 반응과 사용자 참여에 관한 새로운 연구를 얼마나 잘 지원할 수 있는가?
• RQ4 비용이나 기술적 복잡성으로 이전에는 실현 불가능했던 새로운 유형의 HCI 연구를 플랫폼이 가능하게 할 수 있는가?
• RQ5 실내 실험 환경에 비해 개방형 환경 조건에서 시스템의 성능은 어떠한가?

주요 결과

• 통제된 검증 테스트에서 자체 제작 센서가 상용 대안과 동등하거나 더 뛰어난 신호 품질을 보였다.
• EEG, ECG, PPG 및 시선 추적 신호 간에 밀리초 이내의 정밀도로 다중 모달 데이터 스트림을 성공적으로 동기화하였다.
• 헤드셋의 형태 요소 덕분에 제약 없이 실생활 환경에서도 안정적이고 장시간의 데이터 수집이 가능했다.
• 플랫폼은 자연주의적 환경에서 고해상도 생리적 및 행동 데이터 수집을 지원하여 정서적 및 인지적 반응에 관한 새로운 연구를 가능하게 하였다.
• 다양한 센서를 하나의 저비용이고 이동 가능한 시스템에 통합함으로써 HCI 연구자들이 접근 장벽을 낮출 수 있었다.
• 모듈식 설계 덕분에 다양한 센서 유형의 유연한 구성과 확장이 가능했다.