[論文レビュー] Robust Multi-Output Learning with Highly Incomplete Data via Restricted Boltzmann Machines

Giancarlo Fissore, Aurélien Decelle+2 more|arXiv (Cornell University)|Dec 19, 2019

Generative Adversarial Networks and Image Synthesis参考文献 18被引用数 5

ひとこと要約

本稿では、平均場近似とコントラスト的分散学習を用いて、欠損した特徴量と部分的に観測されたラベルを同時にモデル化する、制限ボルツマンマシンを用いたロバストなマルチアウトプット学習フレームワーク、RBM-MOを提案する。特徴量とラベルの補完的依存関係を活用することで、特に高い欠損率下でも、多クラスおよびマルチラベルタスクにおいて、誘導的および非誘導的設定の両方で最先端の性能を達成する。

ABSTRACT

In a standard multi-output classification scenario, both features and labels of training data are partially observed. This challenging issue is widely witnessed due to sensor or database failures, crowd-sourcing and noisy communication channels in industrial data analytic services. Classic methods for handling multi-output classification with incomplete supervision information usually decompose the problem into an imputation stage that reconstructs the missing training information, and a learning stage that builds a classifier based on the imputed training set. These methods fail to fully leverage the dependencies between features and labels. In order to take full advantage of these dependencies we consider a purely probabilistic setting in which the features imputation and multi-label classification problems are jointly solved. Indeed, we show that a simple Restricted Boltzmann Machine can be trained with an adapted algorithm based on mean-field equations to efficiently solve problems of inductive and transductive learning in which both features and labels are missing at random. The effectiveness of the approach is demonstrated empirically on various datasets, with particular focus on a real-world Internet-of-Things security dataset.

研究の動機と目的

• 実世界の産業データにおいて、特徴量とラベルの両方がランダムに欠損している状況下でのマルチアウトプット分類の課題に対処すること。
• 推論時に完全に観測された特徴量を仮定する既存手法の制限や、マルチラベル学習に限定される手法の限界を克服すること。
• 高欠損度下での補完と分類の両方を向上させるために、特徴量とラベルを統合的に確率的モデル化する包括的フレームワークを構築すること。
• 再トレーニングを伴わずに、不完全な訓練およびテストインスタンスに対しても効果的な誘導的および非誘導的学習を可能にする、シンプルだが強力な生成モデルを提供すること。
• 多様なデータセット、特に実世界のIoTセキュリティデータセットを含む、多様なデータセット上でロバスト性と一般化性能を示すこと。

提案手法

• 欠損データ下での特徴量とラベルの同時分布をモデル化できるように、制限ボルツマンマシン（RBM）アーキテクチャを適応させる。
• トレーニングおよび推論の過程で、隠れユニットの事後分布を近似するために、平均場方程式を用いる。
• 不完全な観測データを効率的に最適化できるように、コントラスト的分散に基づくトレーニング手順を適用する。
• 欠損した特徴量とラベルの間の依存関係を活用した、統合的補完と分類メカニズムを実装する。
• 再トレーニングなしに不完全なテストインスタンスに適用可能なため、誘導的および非誘導的学習を両方サポートする。
• 統一された確率的定式化により、マルチクラスおよびマルチラベル分類の両方へのスムーズな適用を保証する。

実験結果

リサーチクエスチョン

• RQ1 特徴量とラベルの両方の高欠損度下でも、RBMのようなシンプルな生成モデルが、両方の補完を効果的に処理できるか？
• RQ2 特徴量とラベルの同時モデリングは、逐次的補完と学習と比較して、分類精度および再構成精度をどの程度向上させるか？
• RQ3 RBM-MOは、マルチクラスおよびマルチラベル設定を含む、さまざまなデータタイプにどの程度一般化可能か？
• RQ4 訓練およびテストデータの両方で極端な欠損率（例：80％）下でも、RBM-MOはどの程度の性能を示すか？
• RQ5 欠損ラベルを伴うマルチクラスのシナリオにおいて、RBM-MOは、特定にマルチラベル学習に最適化された最先端手法を上回れるか？

主な発見

• 非誘導的学習において、ベースライン手法と比較して、ハミング精度が最大30％も向上し、特に高い欠損率下で顕著な改善を示す。
• 複数のデータセットにわたり、標準偏差≤0.01の範囲で低再構成誤差（RMSE）を維持しており、高いロバスト性と安定性を示している。
• MNISTデータセットでは、特に特徴量の欠損率が高い状況下でも、ベースライン手法と比較して優れた再構成精度を達成している。
• 誘導的学習において、CLEおよびNoisyIMCは構造的な欠損ラベルパターンのためマルチクラスタスクで失敗するが、RBM-MOは一貫して優れた性能を発揮する。
• 80％の特徴量およびラベル欠損率下でも、RBM-MOは最高の精度を達成しており、実世界のIoT脅威検出における人間アナリストの意思決定支援に有効に機能する。
• 公開データセットおよび実世界のIoTセキュリティデータセットの両方で、最先端の性能を達成しており、強力な一般化性能と実用的有用性を示している。