[논문 리뷰] Deep Learning Towards Mobile Applications

Ji Wang, Bokai Cao외 4명|arXiv (Cornell University)|2018. 09. 10.

Context-Aware Activity Recognition Systems참고 문헌 35인용 수 7

한 줄 요약

이 논문은 모바일 장치에 딥 러닝을 구현하는 데 있어 도전 과제와 발전 사항을 조사한다. 주로 개인정보 보호를 위한 피어 투 피어 학습, 효율적인 추론 기법, 그리고 사용자 식별 및 기분 감지와 같은 실생활 응용 사례를 중심으로 다룬다. 이는 사용자 개인정보를 보호하면서도 높은 정확도(98.97% F1 스코어)로 모바일 장치에서 딥 러닝을 효과적으로 활용할 수 있음을 보여준다.

ABSTRACT

Recent years have witnessed an explosive growth of mobile devices. Mobile devices are permeating every aspect of our daily lives. With the increasing usage of mobile devices and intelligent applications, there is a soaring demand for mobile applications with machine learning services. Inspired by the tremendous success achieved by deep learning in many machine learning tasks, it becomes a natural trend to push deep learning towards mobile applications. However, there exist many challenges to realize deep learning in mobile applications, including the contradiction between the miniature nature of mobile devices and the resource requirement of deep neural networks, the privacy and security concerns about individuals' data, and so on. To resolve these challenges, during the past few years, great leaps have been made in this area. In this paper, we provide an overview of the current challenges and representative achievements about pushing deep learning on mobile devices from three aspects: training with mobile data, efficient inference on mobile devices, and applications of mobile deep learning. The former two aspects cover the primary tasks of deep learning. Then, we go through our two recent applications that apply the data collected by mobile devices to inferring mood disturbance and user identification. Finally, we conclude this paper with the discussion of the future of this area.

연구 동기 및 목표

• 제한된 계산 능력과 배터리 수명을 가진 모바일 장치에 자원 집약적인 딥 뉴럴 네트워크(DNNs)를 구현하는 데 도전하는 것.
• 중앙 서버에 원시 데이터를 전송하지 않고도 이동 장치에서 분산된 데이터를 활용해 DNNs의 개인정보 보호 학습을 가능하게 하는 것.
• 메모리와 에너지 제약 조건에도 불구하고 DNNs를 모바일 하드웨어에서 실행하기 위한 효율적인 추론 방법을 개발하는 것.
• 실제 사용자 생성 데이터를 활용해 사용자 식별 및 기분 이상 감지와 같은 실용적인 모바일 딥 러닝 응용 사례를 보여주는 것.
• 미래의 모바일 딥 러닝 시스템을 위한 효율성과 개인정보 보호 분야의 핵심 연구 격차를 규명하는 것.

제안 방법

• 원시 사용자 데이터를 중앙 서버에 집중화하지 않고도 이동 장치 간에 DNNs를 학습하기 위해 피어 투 피어 학습을 활용한다. 이는 개인정보 보호를 유지한다.
• 장치 내 추론을 위해 DNN 크기와 계산 비용을 줄이기 위해 모델 압축 및 양자화 기법을 적용한다.
• 사용자 식별 및 기분 분석을 위한 입력 특징으로 이동 장치 센서 데이터(예: 키 입력, 가속도계)를 활용한다.
• 딥 뉴럴 네트워크(예: DNNs, XGBoost, 랜덤 포레스트)를 적용해 이동 장치 센서 스트림에서 사용자 행동 패턴을 분류한다.
• 키 입력 동적 특성과 운동 패턴을 사용해 고정밀도로 사용자를 식별하는 시스템인 DeepService를 설계한다.
• 자주 사용하는 키와 드물게 사용하는 키를 분리하고, 다중 축 가속도 상관관계를 분석함으로써 사용자 간 차별화를 향상시키기 위해 특징 공학을 활용한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 어떻게 개인정보를 훼손하지 않으면서도 모바일 장치에서 효율적으로 학습시킬 수 있는가?
• RQ2 자원 제약이 있는 모바일 하드웨어에서 대규모 DNNs의 효율적 추론을 가능하게 하는 기법은 무엇인가?
• RQ3 이동 장치 센서 데이터(예: 키 입력, 가속도계)를 사용해 사용자를 정확히 식별하거나 기분 상태를 감지할 수 있는가?
• RQ4 공유된 모바일 환경에서 식별해야 할 사용자 수가 증가할수록 모델 성능은 어떻게 저하되는가?
• RQ5 모바일 응용 분야에 딥 러닝을 구현하는 데 있어 핵심적인 과제와 향후 방향성은 무엇인가?

주요 결과

• 피어 투 피어 학습은 원시 사용자 데이터를 장치 내부에 유지하면서도 효과적인 모델 학습을 가능하게 하여 개인정보 보호 문제를 해결한다.
• DeepService는 사용자 상호 작용 패턴을 기반으로 사용자를 식별하는 데 평균 정확도 99.1%와 F1 스코어 98.97%를 달성한다.
• 공유 환경(예: 부부가 동일한 전화기를 사용하는 경우)에서도 사용자 간 구분이 높은 성능으로 성공적으로 이루어지며, 다중 클래스 식별에서도 뛰어난 성능을 보인다.
• 10명의 사용자로 확장할 경우, DeepService는 정확도 87.35%와 F1 스코어 87.69%를 기록하며 기존의 XGBoost 및 랜덤 포레스트 모델을 뛰어넘는다.
• 공유 생체 정보 패턴의 다양성이 증가함에 따라 성능 저하가 발생함에 따라 확장성과 정확도 사이의 상충 관계가 드러나며, 이는 확장성과 정확도 간의 타협이 필요함을 시사한다.
• 논문은 향후 모바일 딥 러닝이 클라우드 기반 추론에서 장치 내부 학습 및 추론으로 이동할 것이라고 결론 내리며, 이는 모바일 프로세서와 무선 기술의 발전에 의해 이끌릴 것으로 보고 있다.