[論文レビュー] On Metrics to Assess the Transferability of Machine Learning Models in Non-Intrusive Load Monitoring

Christoph Klemenjak, Anthony Faustine+2 more|arXiv (Cornell University)|Dec 12, 2019

Smart Grid Energy Management被引用数 12

ひとこと要約

本論文は、非侵襲的負荷モニタリング（NILM）における機械学習モデルの転送性を評価するための4つのドメイン固有の指標——一般化比（GR）、未学習建物における正解率（AUH）、未学習建物における誤差（EUH）、平均一般化損失（MGL）——を導入する。これらの指標は、未学習の建物におけるモデルのパフォーマンスを評価し、過学習の検出を可能にするとともに、従来の指標を補完する。複数のデータセット上で、最先端の5つのNILMアルゴリズムと4つのベースラインアルゴリズムを用いた検証が行われた。

ABSTRACT

To assess the performance of load disaggregation algorithms it is common practise to train a candidate algorithm on data from one or multiple households and subsequently apply cross-validation by evaluating the classification and energy estimation performance on unseen portions of the dataset derived from the same households. With an emerging discussion of transferability in Non-Intrusive Load Monitoring (NILM), there is a need for domain-specific metrics to assess the performance of NILM algorithms on new test scenarios being unseen buildings. In this paper, we discuss several metrics to assess the generalisation ability of NILM algorithms. These metrics target different aspects of performance evaluation in NILM and are meant to complement the traditional performance evaluation approach. We demonstrate how our metrics can be utilised to evaluate NILM algorithms by means of two case studies. We conduct our studies on several energy consumption datasets and take into consideration five state-of-the-art as well as four baseline NILM solutions. Finally, we formulate research challenges for future work.

研究の動機と目的

• 未学習の建物に跨るNILMモデルの転送性を評価するドメイン固有の指標の不足を解消すること。
• 見たことのない世帯を越えて一般化性能を評価するための体系的フレームワークを提供すること。
• 未学習のテストシナリオにおけるパフォーマンスを定量化することで、研究者が過学習を検出できるようにすること。
• 転送性に配慮した評価を従来のパフォーマンス指標に加えることで、再現性とモデル選択の質を向上させること。
• NILM一般化および転移学習分野における今後の研究のためのオープンな課題を提示すること。

提案手法

• 一般化比（GR）を提案する。これは、未学習の建物におけるパフォーマンスを学習済み建物におけるパフォーマンスで割った比であり、相対的な転送性を測定する。
• 未学習建物における正解率（AUH）と未学習建物における誤差（EUH）を導入し、新規建物における分類および回帰パフォーマンスを定量化する。
• 平均一般化損失（MGL）を定義する。これは未学習建物における平均損失であり、1対Nまたは1対1の転送設定でのみ適用可能である。
• 複数のデータセットにわたり、分類および回帰タスクの両方を用いて、最先端の5つのNILMアルゴリズムと4つのベースラインアルゴリズムを評価する。
• 事例研究を通じて、指標の実用的価値を実世界の評価シナリオ（モデル比較や過学習検出など）で示す。
• 再現性を確保し、今後の研究者による採用を促進するため、GitHubにオープンソース実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 未学習の建物でテストされた際、NILMモデルの一般化性能をどのように定量的に評価できるか？
• RQ2 異なる世帯やデータセットに跨るNILMモデルの転送性を最もよく捉える指標は何か？
• RQ3 従来のパフォーマンス指標はなぜモデルの一般化を適切に反映していないのか。また、提案された指標はどのような改善をもたらすか？
• RQ4 提案された指標は、特定の世帯で学習されたNILMモデルの過学習をどの程度検出できるか？
• RQ5 1対NやM対Nの設定を含む多様なNILM評価シナリオにおいて、どのように一貫して転送性を評価できるか？

主な発見

• 一般化比（GR）は、モデルを未学習の建物に転送する際の相対的パフォーマンス低下を効果的に捉えており、低い値は転送性の低さを示す。
• 未学習建物における正解率（AUH）と未学習建物における誤差（EUH）は、新規テストシナリオにおけるモデルパフォーマンスを直接的かつ解釈可能な指標として提供し、異なるアルゴリズム間の比較を可能にする。
• 平均一般化損失（MGL）は1対Nの転送シナリオでは信頼性があるが、M対Nの学習設定には適応が必要である。
• 提案された指標は、学習済み世帯では高いパフォーマンスを示すが、未学習建物では低いパフォーマンスを示すNILMモデルの過学習を効果的に同定できる。
• 事例研究では、最先端のモデルであっても一般化性能が必ずしも優れていないことが示され、転送性指標の活用により未学習建物での顕著なパフォーマンス低下が明らかになった。
• 著者らは、GRおよびAUH/EUHを標準的なNILM評価パイプラインに統合するよう推奨しており、これによりモデルの頑健性と再現性が向上すると考えられる。