[論文レビュー] Bayesian active learning for production, a systematic study and a reusable library

Parmida Atighehchian, Frédéric Branchaud-Charron+1 more|arXiv (Cornell University)|Jun 17, 2020

Machine Learning and Algorithms参考文献 24被引用数 10

ひとこと要約

本稿では、実世界での導入を念頭に、ベイジアンアクティブラーニングにおける実用的な改善を提案し、部分的不確実性サンプリングとより大きなクエリサイズを導入することで、アクティブラーニングループの高速化を図っている。これらの手法がMio-TCDのようなノイズが多く、クラスに偏りのあるデータセットにおいても性能を維持することを示しており、スケーラブルな生産環境向けのアクティブラーニングを支援するオープンソースライブラリBaaLを提供している。

ABSTRACT

Active learning is able to reduce the amount of labelling effort by using a machine learning model to query the user for specific inputs. While there are many papers on new active learning techniques, these techniques rarely satisfy the constraints of a real-world project. In this paper, we analyse the main drawbacks of current active learning techniques and we present approaches to alleviate them. We do a systematic study on the effects of the most common issues of real-world datasets on the deep active learning process: model convergence, annotation error, and dataset imbalance. We derive two techniques that can speed up the active learning loop such as partial uncertainty sampling and larger query size. Finally, we present our open-source Bayesian active learning library, BaaL.

研究の動機と目的

• モデルのトレーニング時間、アノテーションコスト、データ品質の問題といった、実世界の導入制約と、学術的なアクティブラーニング手法との間のギャップを埋めること。
• モデルの収束問題、アノテーションエラー、クラスアンバランスといった一般的なデータ病理が、ディープアクティブラーニングのパフォーマンスに与える影響を調査すること。
• 計算コストを抑えながらパフォーマンスに影響を与えないように、スケーラブルで生産環境対応の可能なアクティブラーニング技術を開発すること。
• Mio-TCDのような、重度のクラスアンバランスとラベルノイズを含む実世界の非学術的データセットにおいて、アクティブラーニングの有効性を実証すること。
• 研究者および実務家が大規模にアクティブラーニングの実験を可能にする再利用可能なオープンソースライブラリBaaLをリリースすること。

提案手法

• MC-DropoutとBALD（不確実性の不一致に基づくベイジアンアクティブラーニング）を用いて、ディープモデルにおけるエピステミック不確実性を推定する。
• 定期的なモデル再トレーニングと、ラベルなしプールのサブセットにおける不確実性再計算を伴うバッチアクティブラーニングを実装する。
• ラベルなしプールのランダムサブセット（最大25％）に制限して不確実性推定を実施する部分的不確実性サンプリングを導入し、計算コストを低減する。
• クエリサイズ（50から2000まで）の増加がパフォーマンスに与える影響を評価し、大きなバッチサイズでも顕著な精度低下なしに利用可能であることを確認した。
• Mio-TCDデータセット（大規模で偏りのあるデータセット、実世界のラベルノイズを含む）にアクティブラーニングを適用し、耐性を評価した。
• すべてのコンponentsを統合し、モデルトレーニングから不確実性サンプリングまでを支援するモジュラーでオープンソースのライブラリBaaLを構築した。

実験結果

リサーチクエスチョン

• RQ1 アノテーションエラー、クラスアンバランス、モデル収束の悪化といった一般的なデータ病理が、ディープアクティブラーニングのパフォーマンスに与える影響は何か？
• RQ2 バッチアクティブラーニングにおけるクエリサイズの増加は、モデル精度を劣化させることなく効率を向上させることができるか？
• RQ3 ラベルなしプールのランダムサブセットにのみ不確実性推定を制限することで、パフォーマンスを維持しつつ計算コストを削減できるか？
• RQ4 ラベルノイズとアンバランスを内蔵する実世界の非学術的データセットにおいて、ベイジアンアクティブラーニングはどの程度有効か？
• RQ5 Mio-TCDのようなクラスアンバランスなデータセットにおいて、アクティブラーニングは、代表が不足しているクラスのパフォーマンスを顕著に向上させることができるか？

主な発見

• ラベルなしプールの25％のみを対象として不確実性推定を実施する部分的不確実性サンプリングにより、不確実性推定時間は3倍短縮され、パフォーマンスに顕著な低下は認められなかった。
• クエリサイズを大きく（最大2000まで）しても、CIFAR10においてエントロピーに基づく獲得関数がBALDを上回る性能を示し、競争力のある性能を維持した。
• Mio-TCDデータセットにおいて、アクティブラーニングは、単一ユニットトラックや自転車といった代表が不足しているクラスのF1スコアを、ランダムサンプリングと比較して顕著に向上させた。
• BALDは、希少クラスにおいて強い初期のパフォーマンス向上を示したが、最も頻度の高いクラス（自動車）のパフォーマンスは、獲得関数にかかわらず安定していた。
• 本研究では、ラベルノイズとアンバランスを含む実世界データにおいて、アクティブラーニングが有効であることが確認され、生産環境での利用が妥当であることを裏付けた。
• BaaLライブラリは、スケーラブルで再現可能なアクティブラーニングの実験を可能にし、生産パイプラインへの統合を支援する。