[論文レビュー] Reconstruction of Missing Big Sensor Data

Yongshuai Shao, Zhe Chen|arXiv (Cornell University)|May 3, 2017

Sparse and Compressive Sensing Techniques参考文献 27被引用数 5

ひとこと要約

本稿では、IoTネットワークにおける欠損したマルチアトリビュートセンサデータを再構築するために、交替方向乗数法（ADMM）を用いたテンソルベースの低ランク近似手法ADMACを提案する。時間、ノード、センサアトリビュートのすべての次元において共同低ランク構造を活用することで、特に低サンプリングレートおよび現実的な欠損パターン下でも、従来の行列およびテンソル手法を上回る性能を発揮する。

ABSTRACT

With ubiquitous sensors continuously monitoring and collecting large amounts of information, there is no doubt that this is an era of big data. One of the important sources for scientific big data is the datasets collected by Internet of things (IoT). It's considered that these datesets contain highly useful and valuable information. For an IoT application to analyze big sensor data, it is necessary that the data are clean and lossless. However, due to unreliable wireless link or hardware failure in the nodes, data loss in IoT is very common. To reconstruct the missing big sensor data, firstly, we propose an algorithm based on matrix rank-minimization method. Then, we consider IoT with multiple types of sensor in each node. Accounting for possible correlations among multiple-attribute sensor data, we propose tensor-based methods to estimate missing values. Moreover, effective solutions are proposed using the alternating direction method of multipliers. Finally, we evaluate the approaches using two real sensor datasets with two missing data-patterns, i.e., random missing pattern and consecutive missing pattern. The experiments with real-world sensor data show the effectiveness of the proposed methods.

研究の動機と目的

• 信頼性の低い通信やハードウェア障害による大規模なIoTセンサネットワークにおける欠損データ問題に対処すること。
• 時間的または空間的相関に関する強い仮定に依存する既存手法の限界を克服すること。
• 相関パターンの事前知識がなくても、センサデータの内在的な低ランク構造を活用する、耐障害性の高いデータ再構築フレームワークの構築。
• 時間、ノード、センサタイプの間のクロスモード相関を捉えるために、行列ベースの再構築をマルチアトリビュートセンサデータに拡張し、テンソル補完を用いること。
• 特定のモードでのみ低ランクである場合に適した、柔軟性を高めた緩和版（R-ADMAC）を提案すること。

提案手法

• 時間、センサノードID、アトリビュートタイプ（例：温度、湿度）をモードとする3次元テンソルとしてセンサデータを定式化する。
• すべてのモードにわたる低ランク構造を活用するため、Tucker分解モデルを用いたランク最小化によりテンソル補完を実行する。
• 非凸なテンソル補完問題を効率的に解くために、交替方向乗数法（ADMM）を用いる。
• 特定のモードでのみ低ランク構造を仮定する、緩和版R-ADMACを導入し、実世界データへの柔軟性を向上させる。
• ADMMフレームワーク下で、因子行列とコアテンソルの更新を交互に繰り返すことで、テンソル補完問題を最適化する。
• ランダムおよび連続的な欠損パターンの下で、実世界のデータセット（Intel BerkeleyおよびData Sensing Lab）を用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 ADMMを用いた低ランクテンソル補完は、IoTネットワークにおける欠損したマルチアトリビュートセンサデータの再構築に有効に機能するか？
• RQ2 さまざまなサンプリングレートおよび欠損パターン下で、ADMACの性能は最先端の行列およびテンソルベース手法と比べてどうなるか？
• RQ3 Tuckerランクに関する事前知識がテンソル補完の精度に与える影響は何か？また、ADMACはこの依存性をどのように軽減するか？
• RQ4 R-ADMACはどのような状況で、ADMAC や HaLRTC といった共同低ランクモデルを上回る性能を発揮するか？
• RQ5 複雑で非一様な欠損パターンを示す実世界データに対して、提案手法はどれほど耐障害性を示すか？

主な発見

• 実データセットにおいて、サンプリングレートが30％を超えると、ADMACは正しいランク（ランク-[2,2,2]）を用いたTucker分解と同等の性能を達成する。
• 誤った高いランク（ランク-[5,5,2]）を仮定したTucker分解は性能が著しく低下し、このような手法が事前ランク知識に極めて敏感であることが示された。
• ランダム欠損パターン下で、サンプリングレートが20％未満の低スパarsity状況でも、ADMACはHaLRTCを上回る性能を示し、スパースデータに対する優れた耐障害性を示している。
• 特定のモードでのみ低ランク構造が明確に存在する合成データではR-ADMACの性能が優れているが、全モードで共同低ランクが成立する実データでは性能が劣化する。
• 連続的な欠損パターン下でもADMACは強固な性能を維持しており、構造的なデータ損失に対する耐性を示している。
• ランダムおよび連続的な欠損データの両状況下で、提案手法は既存手法を顕著に上回り、実世界のIoT応用における有効性が検証された。