[논문 리뷰] Reconstruction of Missing Big Sensor Data

Yongshuai Shao, Zhe Chen|arXiv (Cornell University)|2017. 05. 03.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 5

한 줄 요약

이 논문은 IoT 네트워크에서 누락된 다중 속성 센서 데이터를 복원하기 위해 교차 다중 방법의 다중 승수법(ADMM)을 사용하는 텐서 기반 저질서 근사 방법인 ADMAC을 제안한다. 시간, 노드, 센서 속성 간의 공동 저질서 구조를 활용함으로써, 낮은 샘플링 비율과 실제적인 누락 패턴 하에서도 기존의 행렬 및 텐서 방법보다 뛰어난 성능을 보인다.

ABSTRACT

With ubiquitous sensors continuously monitoring and collecting large amounts of information, there is no doubt that this is an era of big data. One of the important sources for scientific big data is the datasets collected by Internet of things (IoT). It's considered that these datesets contain highly useful and valuable information. For an IoT application to analyze big sensor data, it is necessary that the data are clean and lossless. However, due to unreliable wireless link or hardware failure in the nodes, data loss in IoT is very common. To reconstruct the missing big sensor data, firstly, we propose an algorithm based on matrix rank-minimization method. Then, we consider IoT with multiple types of sensor in each node. Accounting for possible correlations among multiple-attribute sensor data, we propose tensor-based methods to estimate missing values. Moreover, effective solutions are proposed using the alternating direction method of multipliers. Finally, we evaluate the approaches using two real sensor datasets with two missing data-patterns, i.e., random missing pattern and consecutive missing pattern. The experiments with real-world sensor data show the effectiveness of the proposed methods.

연구 동기 및 목표

• 신뢰할 수 없는 통신 또는 하드웨어 고장으로 인한 대규모 IoT 센서 네트워크에서의 누락 데이터 문제를 해결한다.
• 시간적 또는 공간적 상관관계에 대해 강한 가정에 의존하는 기존 방법의 한계를 극복한다.
• 상관관계 패턴에 대한 사전 지식 없이도 센서 데이터의 내재된 저질서 구조를 활용하는 강력한 데이터 복원 프레임워크를 개발한다.
• 행렬 기반 복원을 다중 속성 센서 데이터에 확장하여 시간, 노드, 센서 유형 간의 교차 모달 상관관계를 포착하는 텐서 완성 기법을 개발한다.
• 특정 모드에서만 저질서 구조를 가정하는 경우를 고려한 유연한 변형(R-ADMAC)을 제안하여 실용적 적용성을 향상시킨다.

제안 방법

• 시간, 센서 노드 ID, 속성 유형(예: 온도, 습도)을 모드로 하는 3차원 텐서로 센서 데이터를 정의한다.
• 모든 모드에서 저질서 구조를 활용하기 위해 터커 분해 모델을 사용한 질서 최소화 기반 텐서 완성 기법을 적용한다.
• 비볼록 텐서 완성 문제를 효율적으로 해결하기 위해 교차 다중 방법의 다중 승수법(ADMM)을 사용한다.
• 특정 모드에서만 저질서 구조를 가정하는 유연한 변형인 R-ADMAC을 도입하여 실제 데이터에 대한 적용성을 높인다.
• ADMM 프레임워크 내에서 요인 행렬과 코어 텐서를 번갈아가며 업데이트함으로써 텐서 완성 문제를 최적화한다.
• 실제 데이터 세트(인텔 버클리 및 데이터 센싱 랩)를 사용하여 두 가지 누락 패턴(무작위 및 연속) 하에서 방법을 검증한다.

실험 결과

연구 질문

• RQ1 ADMM 기반 저질서 텐서 완성 기법이 IoT 네트워크에서 누락된 다중 속성 센서 데이터를 효과적으로 복원할 수 있는가?
• RQ2 다양한 샘플링 비율과 누락 패턴 하에서 ADMAC의 성능이 최신 기술의 행렬 및 텐서 기반 방법과 비교해 어떻게 되는가?
• RQ3 터커 질서에 대한 사전 지식이 텐서 완성 정확도에 미치는 영향은 무엇이며, ADMAC은 이러한 종속성을 어떻게 완화하는가?
• RQ4 어떤 상황에서 R-ADMAC이 ADMAC 및 HaLRTC와 같은 공동 저질서 모델보다 우수한 성능을 보이는가?
• RQ5 복잡하고 비균일한 누락 패턴을 가진 실제 데이터에 대해 제안된 방법들이 얼마나 강건한가?

주요 결과

• 실제 데이터 세트에서 샘플링 비율이 30%를 초과할 경우, ADMAC은 정확한 질서(질서-[2,2,2])를 가진 터커 분해와 유사한 성능을 달성한다.
• 틀린 높은 질서(질서-[5,5,2])를 가진 터커 분해 기법은 성능이 열악하여 이러한 방법이 사전 질서 지식에 매우 민감함을 시사한다.
• 무작위 누락 패턴 하에서 샘플링 비율이 20% 이하일 경우 ADMAC이 HaLRTC를 능가하여 희소 데이터에 대한 더 뛰어난 강건성을 보인다.
• 특정 모드에서 알려진 저질서 구조를 가진 합성 데이터에서는 R-ADMAC의 성능이 뛰어나지만, 전체 공동 저질서 가정이 성립하는 실제 데이터에서는 성능이 저하된다.
• 연속된 누락 패턴 하에서도 ADMAC은 강력한 성능을 유지하여 구조적 데이터 손실에 대한 내성을 입증한다.
• 무작위 및 연속된 누락 데이터 상황 모두에서 제안된 방법들이 기존 접근법보다 뚜렷이 뛰어나며, 이는 실세계 IoT 응용 분야에서의 효과성을 입증한다.