[論文レビュー] Algorithm Selection for Deep Active Learning with Imbalanced Datasets

Jifan Zhang, Shuai Shao+2 more|arXiv (Cornell University)|Feb 14, 2023

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿では、クラスのバランスに配慮した新しい報酬関数を用いたマルチアームバンディット手法により、複数の候補となるアクティブラーニングアルゴリズムから動的に最適なものを選択する、深層学習のアクティブラーニングにおける最初の適応的アルゴリズム選択フレームワークであるTAILORを提案する。TAILORは、10のマルチクラスおよびマルチラベルデータセットにおいて、個々のベースラインや既存のメタアルゴリズムを凌駕する最先端の精度と優れたクラス多様性を達成し、戦略の効果的な統合を実現する。

ABSTRACT

Label efficiency has become an increasingly important objective in deep learning applications. Active learning aims to reduce the number of labeled examples needed to train deep networks, but the empirical performance of active learning algorithms can vary dramatically across datasets and applications. It is difficult to know in advance which active learning strategy will perform well or best in a given application. To address this, we propose the first adaptive algorithm selection strategy for deep active learning. For any unlabeled dataset, our (meta) algorithm TAILOR (Thompson ActIve Learning algORithm selection) iteratively and adaptively chooses among a set of candidate active learning algorithms. TAILOR uses novel reward functions aimed at gathering class-balanced examples. Extensive experiments in multi-class and multi-label applications demonstrate TAILOR's effectiveness in achieving accuracy comparable or better than that of the best of the candidate algorithms. Our implementation of TAILOR is open-sourced at https://github.com/jifanz/TAILOR.

研究の動機と目的

• 特定のデータセットに対して最も効果的なアクティブラーニングアルゴリズムを選択する課題に取り組むこと、特に、手法間で性能の差が顕著に現れるクラス不均衡な状況において。
• 限られた相互作用ラウンドの中で、数百の候補となる深層アクティブラーニングアルゴリズムから選択可能な汎用的で適応的なフレームワークを開発すること。
• クラス間の代表のバランスを重視する報酬関数の設計を通じて、アクティブラーニングにおけるラベル効率とクラス多様性を向上させること。
• レギュレート解析を通じた理論的裏付けを提供し、TAILORの性能が線形コンテキストバンディットへの単純な還元よりも優れていることを示すこと。
• 多様なマルチクラスおよびマルチラベルベンチマークにおいて、個々のベースラインアルゴリズムおよび既存のメタアルゴリズムと比較して、TAILORの優位性を実証的に検証すること。

提案手法

• アクティブラーニングのアルゴリズム選択問題を、各アームが候補となるアクティブラーニングアルゴリズムに対応するマルチアームバンディット問題として定式化する。
• クラスバランスのとれた情報性を測る新しい報酬関数を導入し、特に、ラベル付けされたクラスの多様性を向上させる例の選択を促進する。
• 反復処理における探索と活用のバランスを取るために、トーマスサンプリングに基づく戦略を採用する。
• バッチおよびオンライン設定の両方をサポートし、各反復後に報酬が明らかになることで、適応的な選択を可能にする。
• マルチクラスおよびマルチラベル設定にそれぞれ別個の報酬関数を設計する：一方はバランスの取れた正答率とクラス多様性を重視し、もう一方は正例の収集を最大化することに焦点を当てたアクティブサーチを想定する。
• レギュレート解析を組み込み、TAILORの理論的性能バインドが、線形コンテキストバンディットへの単純な還元よりもきついことを示している。

実験結果

リサーチクエスチョン

• RQ1 クラス不均衡な状況下でも、与えられた未ラベルデータセットに対して最適な深層アクティブラーニング戦略を選択できる適応的メタアルゴリズムを設計できるか？
• RQ2 アクティブラーニングにおける情報性とクラス多様性の両方を促進するように、報酬関数をどのように設計できるか？
• RQ3 多様なデータセットにおいて、TAILORは個々のアクティブラーニングベースラインや既存のメタアルゴリズムを、精度およびラベル効率の観点から上回ることができるか？
• RQ4 TAILORは複数の候補アルゴリズムを効果的に組み合わせることで、単一のアルゴリズムよりも優れた性能を達成できるか？
• RQ5 マルチラベルアクティブラーニングにおいて、TAILORは正例の総数を最大化する観点で、特に優れた性能を示すか？

主な発見

• 10のデータセットのうち9つにおいて、TAILORは最良の個別ベースラインアルゴリズムと同等またはそれを上回る精度を達成し、CelebAデータセットでは顕著な優位性を示した。
• 全10のデータセットにおいて、TAILORは最良のベースラインアルゴリズムと同等のクラスバランスを達成したが、4つのデータセットではより優れたクラス多様性を示した。
• マルチラベルアクティブサーチにおいて、TAILORは4つのデータセットのうち3つで最良のベースラインよりも多くの正例を収集し、残りの1つでは同等の収集量を達成した。
• TAILORのアブレーションスタディでは、最もレアなクラスの精度が顕著に向上しており、少数クラスにおける強力な性能を示している。
• 既存のメタアルゴリズムよりも積極的にアルゴリズムを選択する傾向を示し、トップパフォーマンスを示すベースラインと類似した選択パターンを示した。
• Caltech256においては信頼度サンプリングより精度が劣ったが、依然として優れたクラスバランスを達成しており、代表のバランスの面での強みが顕著に現れた。