[論文レビュー] Sequence-to-Sequence Load Disaggregation Using Multi-Scale Residual Neural Network

Gan Zhou, Zhi Li+4 more|arXiv (Cornell University)|Sep 25, 2020

Smart Grid Energy Management参考文献 34被引用数 6

ひとこと要約

本稿では、非侵入型負荷監視（NILM）におけるシーケンス・ツー・シーケンス負荷分離に、拡張畳み込みを用いたマルチスケール残差畳み込みニューラルネットワークを提案する。残差学習、大規模な受容 field を実現するための拡張畳み込み、およびマルチスケール特徴抽出を活用することで、モデルの複雑さを低減しつつ、UK-DALE データセット上で全家電機器において優れた F1 スコアと低い MAE を達成した。

ABSTRACT

With the increased demand on economy and efficiency of measurement technology, Non-Intrusive Load Monitoring (NILM) has received more and more attention as a cost-effective way to monitor electricity and provide feedback to users. Deep neural networks has been shown a great potential in the field of load disaggregation. In this paper, firstly, a new convolutional model based on residual blocks is proposed to avoid the degradation problem which traditional networks more or less suffer from when network layers are increased in order to learn more complex features. Secondly, we propose dilated convolution to curtail the excessive quantity of model parameters and obtain bigger receptive field, and multi-scale structure to learn mixed data features in a more targeted way. Thirdly, we give details about generating training and test set under certain rules. Finally, the algorithm is tested on real-house public dataset, UK-DALE, with three existing neural networks. The results are compared and analysed, the proposed model shows improvements on F1 score, MAE as well as model complexity across different appliances.

研究の動機と目的

• 負荷分離に用いられる深層ニューラルネットワークにおける性能劣化問題を、残差学習フレームワークの導入により解決すること。
• パラメータ数を増加させずに拡張畳み込みを用いて受容 field を拡大し、モデルパラメータを削減すること。
• 多スケールアーキテクチャを用いて、多様な電力シグネチャーパatters を捉えることで、混合家電機器における特徴学習を向上させること。
• 定義されたルールに従って現実の家庭負荷状態を模擬する訓練およびテストデータセットを生成すること。
• UK-DALE データセット上で、提案モデルを既存のディープラーニングモデルと比較し、F1 スコア、MAE、モデル複雑度の観点から評価すること。

提案手法

• 深層アーキテクチャの学習における勾配消失および性能劣化を軽減するため、残差畳み込みニューラルネットワークブロックを設計する。
• パラメータ数を増加させず、解像度を維持したまま、受容 field を指数関数的に拡大するため、拡張畳み込みを採用する。
• 異なる拡張率で入力を処理するマルチスケール構造を導入し、局所的およびグローバルな時間的パターンを両方捉える。
• 複数の残差ブロックに跨る残差接続を適用し、学習の安定性を高め、勾配の流れを改善する。
• モデルが集約された家庭用電力から家電単位の消費電力を予測する、シーケンス・ツー・シーケンスフレームワークを採用する。
• 予測値を現実的な電力レベルに制限するために出力層にシグモイド活性化関数を適用し、損失関数に平均絶対誤差（MAE）を用いる。

実験結果

リサーチクエスチョン

• RQ1 標準的な CNN や RNN と比較して、拡張畳み込みを用いた深層残差ネットワークは、負荷分離性能を向上させることができるか？
• RQ2 マルチスケールアーキテクチャは、複雑または変動する電力シグネチャーを示す家電機器の特徴表現を向上させることができるか？
• RQ3 提案モデルは、分離精度を維持または向上させつつ、モデル複雑度をどの程度低減できるか？
• RQ4 高電力変動を示す家電機器（例：電子レンジ）とシンプルなオンオフデバイス（例：ケトル）の両方において、モデルの性能はどのように変化するか？
• RQ5 畳み込み層の並列処理特性を活かすことで、RNNベースのモデルよりも高速な推論時間を達成できるか？

主な発見

• 提案されたマルチスケール残差ネットワークは、従来の CNN、BiLSTM、ノイズ除去オートエンコーダーと比較して、全5台の家電機器（ケトル、電子レンジ、冷蔵庫、食洗機、洗濯機）において最高の F1 スコアを達成した。
• 冷蔵庫（71.388 W）および洗濯機（217.517 W）において、最も低い平均絶対誤差（MAE）を記録し、低消費電力家電の推定精度が非常に高かった。
• ケトルに関しては、F1 スコアが高く（0.948）も、MAE は比較的高かった（289.044 W）。これは高電力レベルとシグモイド活性化関数による微小誤差の拡大が要因とされた。
• テストされた全モデルの中で、パラメータ数が最も少なく（623）、リソース制限のあるエッジデバイスへのデプロイに適していた。
• 畳み込み層の並列処理能力を活かしたため、BiLSTM よりも推論時間が速く、浅い CNN よりも FLOPs は高かったが、実用的な速度を達成した。
• 拡張畳み込みにより、大きな有効受容 field が実現され、文脈認識能力が向上し、電子レンジや食洗機のような複雑な家電機器においても優れた性能を発揮した。