[論文レビュー] Multiview Boosting by Controlling the Diversity and the Accuracy of View-specific Voters

Anil Goyal, Emilie Morvant+2 more|arXiv (Cornell University)|Aug 16, 2018

Internet Traffic Analysis and Secure E-voting参考文献 56被引用数 10

ひとこと要約

本稿では、PAC-Bayesianフレームワークを用いて、視点固有の投票者重みと視点レベルの重みを同時に最適化する、新しい多視点ブースティング手法PB-MVBoostを提案する。精度と多様性をバランスさせる多視点C-上限を最小化することで、MNISTおよびRCV1データセットにおいて、既存の統合ベースの手法を上回る最先端の性能を達成する。

ABSTRACT

In this paper we propose a boosting based multiview learning algorithm, referred to as PB-MVBoost, which iteratively learns i) weights over view-specific voters capturing view-specific information; and ii) weights over views by optimizing a PAC-Bayes multiview C-Bound that takes into account the accuracy of view-specific classifiers and the diversity between the views. We derive a generalization bound for this strategy following the PAC-Bayes theory which is a suitable tool to deal with models expressed as weighted combination over a set of voters. Different experiments on three publicly available datasets show the efficiency of the proposed approach with respect to state-of-art models.

研究の動機と目的

• 複数の視点を統合する際の課題に取り組み、分類器の精度と視点間の多様性の両方をバランスさせる。
• 視点固有の投票者および視点に対する2段階の階層的事前分布と事後分布を備えたPAC-Bayesian理論を多視点設定に拡張する。
• 一般化誤差推定値に一般化上限を組み込んだ誤差を最小化するように反復的に最適化するブースティングベースのアルゴリズムを開発する。
• 標準ベンチマークデータセット上で、提案手法を最先端の多視点学習モデルと比較して実験的に検証する。

提案手法

• 2段階の階層的ベイジアン構造を採用：視点固有の投票者（Q_v）および視点（ρ）に対する事前分布と事後分布を定義し、視点レベルの重要性をモデル化するためのハイパーハイパーポストリアル（π）とハイパーポストリアル（ρ）を用いる。
• 視点固有の事後分布と視点レベルの事後分布に基づいて重み付けされた多数決分類器を定式化し、精度と多様性の両方を同時に最適化可能にする。
• 一般化誤差の上界として知られる多視点C-上限を最小化する。この上限は、視点固有分類器の精度と視点間の多様性の間の明示的なトレードオフを表現する。
• 2段階モデルに対するPAC-Bayesian一般化上限を導出することで、アンサンブル分類器の性能に対する理論的保証を提供する。
• ブースティングに類似した反復的戦略に従う学習プロセスを採用：各反復で、現在の視点での性能に基づいて視点固有の投票者重みを更新し、多視点C-上限を最小化することで視点レベルの重みを更新する。
• Jensenの不等式とKLダイバージェンスを用いて期待損失をバウンディングし、PAC-Bayesianフレームワーク内での計算可能な最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 2つ以上の視点を含む多視点学習に、PAC-Bayesianフレームワークを効果的に拡張可能か？ また、視点固有および視点レベルの不確実性を組み込むことができるか？
• RQ2 理論的根拠に基づいた一般化上限を用いて、多視点学習における精度と多様性のトレードオフを形式的に最適化できるか？
• RQ3 ブースティング戦略を用いて視点固有の投票者重みと視点レベルの重みを同時に学習することで、標準的な統合手法と比較して一般化性能と性能が向上するか？
• RQ4 提案されたPB-MVBoostアルゴリズムは、トレーニング中に多視点C-上限をどの程度最小化しているか？ また、その最小化度合いとテスト精度の相関関係は？
• RQ5 不均衡なデータ設定において、PB-MVBoostは既存の最先端の多視点学習モデルと比較して、どの程度優れた性能を示すか？

主な発見

• PB-MVBoostは反復の過程で多視点C-上限を実験的に最小化しており、精度と多様性のトレードオフの効果的最適化を示している。
• MNIST 1およびMNIST 2データセットでは、Fusion_all^Cqベースラインと比較して優れた分類精度を達成しており、多視点学習における有効性を示している。
• RCV1/RCV2データセットでは、Fusion_all^Cq手法を上回り、特にクラス不均衡の処理において優れた性能を示しており、データ分布の変化に対して頑健であることが確認された。
• PAC-Bayesian上限を活用することで、一般化性能を維持し、観察された性能向上に理論的裏付けを与える。
• 2段階の階層的構造により、視点固有および視点間の情報制御をより効果的に行えるようになり、より信頼性が高く正確なアンサンブル予測が得られるようになった。