[논문 리뷰] Big Data Analytics in Future Internet of Things

Guoru Ding, Long Wang외 1명|arXiv (Cornell University)|2013. 11. 17.

IoT and Edge/Fog Computing참고 문헌 14인용 수 11

한 줄 요약

이 논문은 미래 인터넷 오브 things(IoT)에서 대규모 데이터 분석을 위한 체계적인 튜토리얼을 제안하며, 이는 이질적, 비선형, 고차원, 분산/병렬 데이터 처리의 네 가지 핵심 데이터 처리 유형을 중심으로 한다. 이는 복합도 이론, 커널 방법, 강건한 주성분 분석, ADMM 기반 분산 최적화와 같은 고급 수학적 프레임워크를 도입하여 스마트 IoT 응용 분야에서 지능적이고 확장 가능하며 효율적인 데이터 분석을 가능하게 한다.

ABSTRACT

Current research on Internet of Things (IoT) mainly focuses on how to enable general objects to see, hear, and smell the physical world for themselves, and make them connected to share the observations. In this paper, we argue that only connected is not enough, beyond that, general objects should have the capability to learn, think, and understand both the physical world by themselves. On the other hand, the future IoT will be highly populated by large numbers of heterogeneous networked embedded devices, which are generating massive or big data in an explosive fashion. Although there is a consensus among almost everyone on the great importance of big data analytics in IoT, to date, limited results, especially the mathematical foundations, are obtained. These practical needs impels us to propose a systematic tutorial on the development of effective algorithms for big data analytics in future IoT, which are grouped into four classes: 1) heterogeneous data processing, 2) nonlinear data processing, 3) high-dimensional data processing, and 4) distributed and parallel data processing. We envision that the presented research is offered as a mere baby step in a potentially fruitful research direction. We hope that this article, with interdisciplinary perspectives, will stimulate more interests in research and development of practical and effective algorithms for specific IoT applications, to enable smart resource allocation, automatic network operation, and intelligent service provisioning.

연구 동기 및 목표

• 연결된 기기들이 물리 세계를 감지할 뿐 아니라 학습하고 사고하며 이해할 수 있도록, 미래 IoT에서 지능적인 데이터 분석의 필수적 필요성을 해결한다.
• 현재의 중심집중식이고 확장성 없는 데이터 처리 방식의 한계를 극복하여, 대규모 IoT 네트워크에서 탈중앙화되고 분산적이며 병렬적인 데이터 분석을 가능하게 한다.
• 데이터 이질성, 비선형성, 고차원성, 확장성 등의 특수 과제를 다룰 수 있는 수학적으로 탄탄한 실용적 알고리즘을 개발한다.
• 실세계 IoT 응용 분야에 효과적인 알고리즘에 대한 다학제적 연구를 자극하여 스마트 자원 할당, 자동화된 네트워크 운영, 지능적인 서비스 제공을 지원한다.

제안 방법

• 서로 다른 근본 분포를 가진 이질적 센서 데이터를 모델링하고 융합하기 위해 복합도 이론을 사용하여, 기존의 곱셈 모델이나 가우시안 모델보다 더 정확한 공동 확률 추정을 가능하게 한다.
• 비선형 관계를 IoT 데이터에서 모델링하기 위해 커널 방법과 재생 핵 힐베르트 공간(RKHS)을 적용하여, 커널 기반 학습 프레임워크를 통해 비선형 데이터 처리를 실현한다.
• 볼록 최적화를 통한 강건한 주성분 분석(RPCA)을 활용하여 고차원 데이터를 저질서수와 희소 성분으로 분해함으로써, 노이즈나 이방치로부터 의미 있는 신호를 효과적으로 분리한다.
• 교차 다중 승수의 교대 방법(ADMM)을 사용하여 중심집중형 최적화 문제를 상호 연결된 IoT 기기들 사이에 분산시키며, 수렴 보장이 있는 확장 가능하고 탈중앙화된 데이터 처리를 가능하게 한다.
• 전역 최적화 문제를 국소 변수와 공통 전역 변수를 가진 공통 문제로 재구성하여, 반복적 업데이트와 공통 합의 단계를 통해 노드 간 병렬 계산을 가능하게 한다.
• 중앙 집중형 융합을 국소적 이웃 평균화로 대체함으로써, 다단계 IoT 네트워크에 맞게 ADMM 알고리즘을 적응시켜 탈중앙형 환경에서의 확장성과 고장 내성 확보한다.

실험 결과

연구 질문

• RQ1 서로 다른 확률 분포를 가진 이질적 센서 데이터가 IoT 시스템에서 효과적으로 융합되고 분석될 수 있는 방법은 무엇인가?
• RQ2 선형 모델이 실패하는 IoT 응용 분야에서 비선형 데이터 처리를 위한 강력한 수학적 프레임워크는 무엇인가?
• RQ3 고차원 IoT 데이터가 노이즈 감소와 특징 추출을 위해 효율적으로 의미 있는 저질서수와 희소 성분으로 분해될 수 있는 방법은 무엇인가?
• RQ4 탈중앙화된 IoT 네트워크에서 확장 가능하고 고장에 강하며 병렬적으로 작동하는 분산 최적화 프레임워크는 무엇인가?
• RQ5 ADMM 기반 분산 알고리즘이 통신 오버헤드를 줄이고 단일 장애 지점 문제를 피하면서도 중심 집중형 솔루션에 가까운 성능을 유지할 수 있는가?

주요 결과

• 복합도 기반 모델링은 근본 분포가 다를 경우 기존의 곱셈 모델이나 가우시안 모델보다 이질적 데이터에 대한 공동 확률 추정 정확도를 크게 향상시킨다.
• RKHS 내 커널 기반 방법은 데이터를 고차원 특징 공간으로 변환함으로써 비선형 패턴을 선형으로 분리 가능하게 하여 효과적인 비선형 데이터 처리를 가능하게 한다.
• RPCA 기반 분해는 고차원 IoT 데이터에서 저질서수와 희소 성분을 성공적으로 분리하며, 식 (10)의 최적화 문제가 볼록이므로 효율적인 알고리즘으로 해결 가능하다.
• ADMM 기반 분산 처리는 탈중앙화된 IoT 네트워크에서 전역 최적해로 수렴하며, 다단계 피어 투 피어 방식으로도 구현 가능하다.
• 분산 ADMM 프레임워크는 중심 집중형 융합을 국소 이웃 평균화로 대체함으로써 확장 가능하고 강건한 데이터 분석을 가능하게 하며, 고장 내성 향상과 통신 부하 감소를 달성한다.
• 제안된 프레임워크는 미래 IoT 데이터 분석을 위한 수학적으로 탄탄한 기반을 제공하며, 스마트 자원 할당과 서비스 제공을 지원하는 지능적이고 적응형이며 자율적인 IoT 시스템의 길을 열어준다.