[論文レビュー] A Deep Learning Approach to Unsupervised Ensemble Learning

Uri Shaham, Xiuyuan Cheng+5 more|arXiv (Cornell University)|Feb 6, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 31被引用数 25

ひとこと要約

本論文は、条件付き独立性の仮定が破られる状況でも有効に機能する非教師ありアンサンブル学習のためのディープラーニング手法を提案する。この手法は、分類器の予測をモデル化するために制限付きボルツマンマシン（RBM）を活用する。特に、Dawid-Skeneモデルの条件付き独立性仮定が破られる状況において有効である。本研究では、1つの隠れノードを持つRBMが数学的にDawid-Skeneモデルと同等であることを示し、RBMを用いた深層ニューラルネットワーク（DNN）アーキテクチャに拡張することで、シミュレートデータおよび実世界のデータセット（ゲノム分類およびガンマ線分類タスクを含む）において、優れた性能を発揮することを示した。

ABSTRACT

We show how deep learning methods can be applied in the context of crowdsourcing and unsupervised ensemble learning. First, we prove that the popular model of Dawid and Skene, which assumes that all classifiers are conditionally independent, is {\em equivalent} to a Restricted Boltzmann Machine (RBM) with a single hidden node. Hence, under this model, the posterior probabilities of the true labels can be instead estimated via a trained RBM. Next, to address the more general case, where classifiers may strongly violate the conditional independence assumption, we propose to apply RBM-based Deep Neural Net (DNN). Experimental results on various simulated and real-world datasets demonstrate that our proposed DNN approach outperforms other state-of-the-art methods, in particular when the data violates the conditional independence assumption.

研究の動機と目的

• 分類器間の条件付き独立性を仮定するDawid-Skeneモデルの限界を是正すること。この仮定は実際の応用ではしばしば破られる。
• 非教師ありアンサンブル学習において、分類器間の複雑な依存関係をモデル化できるディープラーニングフレームワークの開発。
• RBMを基盤とする深層ニューラルネットワークを活用して、クラウドソーシングおよび弱教師あり学習におけるラベル回復精度の向上。
• 真のラベルが不明な状況下で、最適なDNNアーキテクチャを決定する実用的なヒューリスティックの提供。
• 深層部の特徴表現が、ラベル情報は保持しつつも、ほとんど相関がなくなることを示し、一般化性能の向上を実現すること。

提案手法

• Dawid-Skeneモデルにおける条件付き独立性が、1つの隠れノードを持つ制限付きボルツマンマシン（RBM）と数学的に同等であることを証明する。
• 訓練済みのRBMを用いて、条件付き独立性の仮定下での真のラベルの事後確率を推定する。
• RBMフレームワークを、複数のRBM層を積み重ねて複雑な依存する分類器の挙動をモデル化する深層ニューラルネットワーク（DNN）アーキテクチャに拡張する。
• 特異値分解（SVD）に基づくヒューリスティックを用いて、DNNアーキテクチャの最適な深さと幅を決定する。
• ランダムな構成スキャンによるハイパーパramータチューニングを慎重に行い、確率的勾配降下法を用いてRBMベースのDNNを訓練する。
• 訓練中における最良のハイパーパramータ構成の評価と選定に、平均対数尤度近似を用いる。

実験結果

リサーチクエスチョン

• RQ1 Dawid-Skeneモデルは、1つの隠れノードを持つRBMとして再解釈可能であり、この同値性はより効率的または正確な推論を可能にするか？
• RQ2 分類器の誤りが相関を持つ状況において、RBMベースの深層ニューラルネットワークは非教師ありアンサンブル学習にどのように効果的に適用可能か？
• RQ3 提案されたDNNアーキテクチャは、条件付き独立性仮定が破られる状況でも、既存の最先端手法を上回る性能を示すか？
• RQ4 DNNの隠れ層で学習された特徴は、真のラベルに関する判別情報は保持しつつ、どの程度相関が低減されるか？
• RQ5 真のラベルが入手できない状況下でも、SVDに基づくヒューリスティックは、RBMベースDNNのアーキテクチャを信頼性高く決定できるか？

主な発見

• RBMベースのDNNは、シミュレートデータおよび実世界のデータセットにおいて、Dawid-Skeneモデル、CUBAM、L-SMLなど、最先端の手法を上回る性能を発揮した。
• DREAM S3データセット（99個の分類器、78,643件のインスタンス）では、DNNが98.51 ± 0.01のバランス精度を達成し、次に優れた手法（98.2*）を顕著に上回った。
• Magic Gamma Telescopeデータセット（16個の分類器を有する40個のシミュレートデータセット）では、多数のデータセットで他のすべての手法を上回り、SVDベースのアーキテクチャは一貫して15-3-1構成を示した。
• S3データセットでは、真のラベルを条件として隠れ層の特徴がほぼ完全に相関がなくなり、DNNによる有効な分散化が実現された。
• DREAM S1データセット（124個の分類器）では、DNNが98.42 ± 0.00のバランス精度を達成し、次に優れた手法（98.3*）を上回った。
• ハイパーパramータチューニングが極めて重要であった。本研究では、ランダムな構成スキャンと対数尤度近似を用いて、最適な学習率、モーメント、正則化を同定した。