[論文レビュー] BCCNet: Bayesian classifier combination neural network

Olga Isupova, Yunpeng Li+4 more|arXiv (Cornell University)|Nov 29, 2018

Anomaly Detection Techniques and Applications参考文献 1被引用数 7

ひとこと要約

BCCNetは、変分ベイズ推定と最尤推定を組み合わせたハイブリッドアプローチを用いて、偏りや一貫性のないクラウドラベルを同時に補正し、深層教師あり分類器を共同で学習する、革新的なニューラルネットワークフレームワークである。実世界の災害対応およびマラリア予防の応用において、不均衡でノイズの多いデータに対して優れた精度と安定性を達成し、損傷検出およびモスキート音声分類の両タスクでベースラインモデルを上回っている。

ABSTRACT

Machine learning research for developing countries can demonstrate clear sustainable impact by delivering actionable and timely information to in-country government organisations (GOs) and NGOs in response to their critical information requirements. We co-create products with UK and in-country commercial, GO and NGO partners to ensure the machine learning algorithms address appropriate user needs whether for tactical decision making or evidence-based policy decisions. In one particular case, we developed and deployed a novel algorithm, BCCNet, to quickly process large quantities of unstructured data to prevent and respond to natural disasters. Crowdsourcing provides an efficient mechanism to generate labels from unstructured data to prime machine learning algorithms for large scale data analysis. However, these labels are often imperfect with qualities varying among different citizen scientists, which prohibits their direct use with many state-of-the-art machine learning techniques. We describe BCCNet, a framework that simultaneously aggregates biased and contradictory labels from the crowd and trains an automatic classifier to process new data. Our case studies, mosquito sound detection for malaria prevention and damage detection for disaster response, show the efficacy of our method in the challenging context of developing world applications.

研究の動機と目的

• 非専門家によるアノテーターから得られるノイズが多く、一貫性がなく、スパarsなクラウドソースラベルの下で信頼性の高い機械学習モデルを訓練するという課題に対処すること。
• 開発途上国における政府およびNGOパートナーが、タイムリーかつ実行可能なインサイトを得られるように、スケーラブルで実装可能なシステムを構築すること。
• 変分ベイジアン推定と最尤推定のハイブリッドフレームワークを用いて、ニューラルネットワークのパラメータと分類器の誤り行列を同時に学習すること。
• 例えば、災害後の衛星画像やマラリア媒介蚊の音声記録のような、高ノイズのラベルを伴う現実世界の不均衡データセットにおいて、頑健な性能を示すことを実証すること。
• 国連、FEMA、およびNGOが使用する運用プロセスにモデルを統合することで、持続可能なインパactsを確保すること。

提案手法

• BCCNetは、ニューラルネットワークとベイジアン分類器結合（BCC）アルゴリズムを統合し、物体分類とベース分類器の信頼性を同時にモデル化する。
• 各データポイントの真のラベルはニューラルネットワークを介して推論され、各クラウド作業者のラベルは誤り行列に従うノイズの多い観測値としてモデル化される。
• 誤差行列の行にディリクレ事前分布を設定し、クラスラベルおよび誤り行列の事後分布を推定するために変分ベイジアン近似を用いる。
• エビデンス下限界（ELBO）を最大化するために、ニューラルネットワークの重みの最適化には確率的勾配上昇法を、変分パラメータの最適化には座標上昇法を組み合わせたハイブリッド最適化戦略を採用する。
• 欠損ラベルを効果的に処理でき、不確実性モデリングの原則に従って、ラベルスパarsityおよびクラス不均衡に対して頑健である。
• 最大尤度と変分推論の組み合わせにより、エンドツーエンドで訓練され、モデルとラベル集約の両方を同時に最適化可能である。

実験結果

リサーチクエスチョン

• RQ1 クリーンな真値ラベルが存在しない高ノイズ、スパars、一貫性のないクラウドソースラベル上で、深層ニューラルネットワークを効果的に訓練できるか？
• RQ2 分類器の誤り行列とニューラルネットワークパラメータを同時に学習することで、生のクラウドラベル上で学習する場合と比較して、性能がどのように向上するか？
• RQ3 BCCNetは、災害対応や疾病監視のような現実世界の応用において、クラス不均衡およびラベルスパarsityをどの程度効果的に処理できるか？
• RQ4 ラベル不確実性の下で、変分ベイジアンアプローチは期待値最大化（EM）法と比較して、安定性と精度の面でどのように異なるか？
• RQ5 このフレームワークは、人道的および公衆衛生分野のユースケースにおいて、タイムリーかつ実行可能なインサイトを提供するために運用可能に導入できるか？

主な発見

• 災害損傷検出タスクにおいて、BCCNetの変分ベイジアン（VB）アルゴリズムは、すべてのモンテカルロランにおいて最高かつ最も安定した分類精度を達成し、クラウドレイヤーネットワークおよびEMベースの変種を上回った。
• モスキート音声検出タスクにおいて、BCCNetのVBアルゴリズムは、全手法の中で最高の中央値F1スコア（0.82）と最小の分散を達成し、不均衡データに対して高い頑健性を示した。
• クラウドレイヤーネットワーク単体では、クラス不均衡のためモスキート音声を検出できず、すべてのランで「モスキートなし」と一貫して予測した。これは、ラベル補正の必要性を強く示している。
• EMベースのBCCNetは、ベースラインのクラウドレイヤーネットワークよりも安定性と精度が向上したが、VBバージョンが両データセットにおいて最も優れた全体的なパフォーマンスを示した。
• BCCNetは、1,200人を超える市民科学者から得られたスパースでノイズの多いラベルを効果的に処理し、国連、FEMA、60以上のNGOが使用する被害ヒートマップを生成した。これは、ハリケーン・アイルマおよびマリアの対応において活用された。
• ZooniverseおよびRescue Globalと協働して、運用プロトコルに統合され、Planetary Response Networkの一部を形成した。その後、アフリカ、南米、東南アジアにおける災害および環境モニタリングに応用された。