[논문 리뷰] Virtual Mouse And Assistant: A Technological Revolution Of Artificial Intelligence

Jagbeer Singh, Yash Goel외 2명|arXiv (Cornell University)|2023. 03. 11.

AI in Service Interactions인용 수 4

한 줄 요약

이 논문은 컴퓨터 시각 기반 기술을 활용해 제스처 기반 커서 제어와 작업 자동화를 가능하게 하는 가상 마우스와 AI 기반 보조자와를 통합한 혁신적인 인간-컴퓨터 상호작용 시스템을 제시한다. 단일 카메라를 사용하여 색인 손가락과 중지 손가락의 제스처를 마우스 움직임과 클릭으로 매핑함으로써 커서 제어와 클릭 기능을 실현하고, 동시에 AI 보조자 기능을 기본 검색 기능을 넘어서 전체 미디어 제어 및 Google, YouTube와 같은 웹 플랫폼에서의 자동화된 웹 상호작용까지 확장한다.

ABSTRACT

The purpose of this paper is to enhance the performance of the virtual assistant. So, what exactly is a virtual assistant. Application software, often called virtual assistants, also known as AI assistants or digital assistants, is software that understands natural language voice commands and can perform tasks on your behalf. What does a virtual assistant do. Virtual assistants can complete practically any specific smartphone or PC activity that you can complete on your own, and the list is continually expanding. Virtual assistants typically do an impressive variety of tasks, including scheduling meetings, delivering messages, and monitoring the weather. Previous virtual assistants, like Google Assistant and Cortana, had limits in that they could only perform searches and were not entirely automated. For instance, these engines do not have the ability to forward and rewind the song in order to maintain the control function of the song; they can only have the module to search for songs and play them. Currently, we are working on a project where we are automating Google, YouTube, and many other new things to improve the functionality of this project. Now, in order to simplify the process, we've added a virtual mouse that can only be used for cursor control and clicking. It receives input from the camera, and our index finger acts as the mouse tip, our middle finger as the right click, and so forth.

연구 동기 및 목표

• 기존의 Google 어시스턴트나 코르타나와 같은 가상 보조자들이 완전한 자동화 및 미디어 제어 기능을 제공하지 못하는 한계를 극복하기 위해.
• 손가락 제스처를 입력으로 사용해 직관적인 제스처 기반 제어를 가능하게 하여 인간-컴퓨터 상호작용을 향상시키기 위해.
• 유튜브 및 Google과 같은 웹 애플리케이션을 포함해 미디어 재생 제어 기능까지 포함한 자동화된 웹 애플리케이션 상호작용을 지원하는 시스템을 개발하기 위해.
• 실시간 컴퓨터 시각 기반 기술을 활용해 손가락 제스처를 커서 이동 및 클릭으로 매핑하는 가상 마우스 기능을 통합하기 위해.
• 사용자 효율성을 향상시키기 위해 AI 보조자 기능과 직접 하드웨어처럼 작동하는 제어 기능을 통합한 통합 인터페이스를 만들기 위해.

제안 방법

• 손가락 제스처 감지를 위해 실시간 영상 입력을 캡처하기 위해 단일 카메라를 사용한다.
• 컴퓨터 시각 알고리즘을 활용해 색인 손가락을 가상 마우스 커서로 식별하고 추적한다.
• 오른쪽 클릭 기능을 시뮬레이션하기 위해 중지 손가락을 사용하여 컨텍스트 메뉴 접근을 가능하게 한다.
• 자연어 음성 명령어를 해석하고 자동화된 작업을 수행하기 위해 AI 보조자 모듈을 통합한다.
• 기본 검색 기능을 넘어서 YouTube 및 Google에서의 미디어 제어(재생, 일시정지, 다음 재생, 뒤로 감기)를 포함한 보조자 기능을 확장한다.
• 제스처 인식과 자연어 처리 기반의 작업 자동화를 결합하여 웹 애플리케이션에 대한 종단 간 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떻게 손가락 제스처 인식 기술을 가상 환경에서 기존 마우스 입력을 대체하는 데 효과적으로 활용할 수 있는가?
• RQ2 가상 보조자 기능을 기본 검색 및 재생 기능을 넘어서 완전한 미디어 제어를 지원하도록 얼마나까지 강화할 수 있는가?
• RQ3 제스처 기반 탐색과 AI 기반 작업 자동화를 통합한 통합 시스템이 사용자 상호작용의 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 단일 카메라를 사용해 손가락 제스처를 마우스 동작으로 실시간으로 정확하게 매핑하는 데 직면한 기술적 과제는 무엇인가?
• RQ5 AI 보조자 기능과 가상 마우스 제어 기능을 통합할 경우 전체 시스템의 사용성과 반응성에 어떤 영향을 미치는가?

주요 결과

• 컴퓨터 시각 기반 기술을 활용해 색인 손가락의 움직임을 실시간 반응성으로 가상 마우스 커서 제어에 성공적으로 매핑하였다.
• 중지 손가락 제스처를 사용해 오른쪽 클릭 기능을 정확하게 시뮬레이션하여 물리적 입력 장치 없이도 컨텍스트 메뉴에 접근할 수 있게 하였다.
• AI 보조자 구성 요소는 검색 기능을 넘어서 유튜브 및 Google에서의 재생, 일시정지, 다음 재생, 뒤로 감기 등의 미디어 제어를 지원한다.
• 제스처 기반 탐색과 AI 기반 작업 자동화의 통합을 통해 키보드나 마우스 수동 입력 없이도 웹 애플리케이션에 대한 종단 간 제어를 가능하게 하였다.
• 특히 지속적인 미디어 또는 애플리케이션 제어가 필요한 상황에서 손으로 조작하지 않는 상호작용을 위한 사용성 향상이 뚜렷하게 나타났다.
• 기존의 입력 장치에 대한 의존도를 줄이고도 높은 작업 자동화 정밀도를 유지하면서 자연스럽고 원활한 인터페이스를 제공함으로써 시스템의 통합성과 직관성이 향상됨을 입증하였다.