[논문 리뷰] A Survey of Mobile Computing for the Visually Impaired

Martin Weiß, Margaux Luck외 3명|arXiv (Cornell University)|2018. 11. 25.

Tactile and Sensory Interactions참고 문헌 24인용 수 4

한 줄 요약

이 종합 검토는 시각 장애인을 위한 기계 학습 기반 모바일 애플리케이션을 검토하여 물체 검출, OCR, 이미지 캡션 생성 및 마이크로 내비게이션 기능을 평가한다. 개인정보 보호를 향상시키고 지연 시간을 줄이며 접근성을 향상시키기 위해 모델 압축과 피어드 학습을 통한 디바이스 내 처리를 권장하며, 모바일 인식, 마이크로 내비게이션 및 콘텐츠 요약 분야의 핵심 연구 방향을 규명한다.

ABSTRACT

The number of visually impaired or blind (VIB) people in the world is estimated at several hundred million. Based on a series of interviews with the VIB and developers of assistive technology, this paper provides a survey of machine-learning based mobile applications and identifies the most relevant applications. We discuss the functionality of these apps, how they align with the needs and requirements of the VIB users, and how they can be improved with techniques such as federated learning and model compression. As a result of this study we identify promising future directions of research in mobile perception, micro-navigation, and content-summarization.

연구 동기 및 목표

• 시각 장애인 또는 실명한 사용자(VIB)를 위한 현재의 모바일 보조 기술 환경을 분석하기 위해.
• 기존 모바일 애플리케이션이 VIB 사용자의 기능적 및 사용성 요구를 얼마나 잘 충족하는지 평가하기 위해.
• 콘텐츠 요약, 마이크로 내비게이션 및 맥락 이해 분야에서 현재 시스템의 핵심 격차를 특정하기 위해.
• 모델 압축과 피어드 학습을 활용한 디바이스 내 기계 학습을 통해 개인정보 보호, 지연 시간 및 자율성을 향상시키기 위해.
• VIB 사용자를 위한 향후 연구 방향, 특히 모바일 인식, 마이크로 내비게이션 및 지능형 콘텐츠 요약 분야를 제시하기 위해.

제안 방법

• 실제 사용자와 보조 기술 개발자와의 인터뷰를 통해 실생활의 필요와 과제를 파악하기 위해.
• 디바이스 내 및 서버 기반 모델을 사용한 물체 검출, OCR, 이미지 캡션 생성 및 장면 이해 분야의 기존 모바일 애플리케이션을 조사하기 위해.
• 모델 크기와 에너지 소비를 줄이기 위해 프루닝, 양자화, 허프만 인코딩 및 지식 증류 기법을 평가하기 위해.
• 원시 사용자 데이터를 공유하지 않으면서도 공동으로 모델을 개선할 수 있는 개인정보 보호 기반 방법으로 피어드 학습을 탐구하기 위해.
• MS COCO와 같은 기존 데이터셋이 VIB 사용자 요구에 부적합한 점을 분석하고, 커뮤니티 기반 데이터셋인 VizWiz의 가치를 강조하기 위해.
• 클라우드 서비스 의존도를 줄이기 위해 텍스트 추출, 색상 감지 및 물체 인식 등의 작업을 디바이스 내에서 처리하는 통합 방안을 제안하기 위해.

실험 결과

연구 질문

• RQ1 현재 시각 장애인을 위한 모바일 애플리케이션은 물체 검출, OCR 및 이미지 캡션 생성과 같은 실생활 작업에서 어떻게 성능을 발휘하는가?
• RQ2 정확도, 지연 시간, 개인정보 보호 및 사용자 경험 측면에서 기존 보조 기술의 주요 제한 사항은 무엇인가?
• RQ3 모델 압축 및 지식 증류 기법은 어떻게 고정밀도 AI 모델을 모바일 기기에서 효율적으로 실행할 수 있도록 도와주는가?
• RQ4 피어드 학습은 개인정보 보호를 유지하면서도 VIB 사용자를 위한 모델 성능 향상에 어떻게 기여할 수 있는가?
• RQ5 보조 기술 분야에서 모바일 인식, 마이크로 내비게이션 및 콘텐츠 요약 분야에서 가장 유망한 향후 연구 방향은 무엇인가?

주요 결과

• BlindTool 및 SeeingAI와 같은 디바이스 내 모델은 지연 시간과 개인정보 보호 측면에서 향상된 성능를 보이지만, 모델 크기와 클래스 일반화 능력에 한계가 있다.
• SeeingAI와 같은 서버 기반 캡션 생성 앱은 높은 정확도를 보이지만, 느린 반응 시간과 비효율적인 상호작용 패턴으로 인해 성능에 제약을 받는다.
• 프루닝, 양자화 및 지식 증류와 같은 모델 압축 기법은 정확도 손실 없이도 모델 크기와 에너지 소비를 크게 줄일 수 있다.
• 피어드 학습은 개인의 이미지를 노출하지 않으면서도 사용자 간 협업을 통해 모델을 개선할 수 있어 VIB 커뮤니티에 이상적인 방법이다.
• 현재의 데이터셋인 MS COCO는 효과적인 내비게이션과 작업 완료를 위해 필요한 상세하고 맥락이 풍부한 설명이 부족하여 VIB 사용자 요구에 부적합하다.
• 물리적 문서의 OCR과 텍스트 요약을 통합한 애플리케이션이 부족하여 현재 보조 기술 분야에서 심각한 격차로 남아 있다.