[論文レビュー] Is margin all you need? An extensive empirical study of active learning on tabular data

Dara Bahri, Heinrich Jiang+2 more|arXiv (Cornell University)|Oct 7, 2022

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿では、深層ニューラルネットワークを用いて、69個の実世界の表形式データセット上で15種類のアクティブラーニング手法を評価し、単純であるにもかかわらず、マージンサンプリングが多様なデータレジームおよび事前学習設定において、すべての最先端手法を常に同等または上回ることを発見した。主な貢献は、マージンサンプリングが表形式データのアクティブラーニングにおける頑健でハイパーパrameterフリーなベースラインであるという実証的証拠が得られたことである。

ABSTRACT

Given a labeled training set and a collection of unlabeled data, the goal of active learning (AL) is to identify the best unlabeled points to label. In this comprehensive study, we analyze the performance of a variety of AL algorithms on deep neural networks trained on 69 real-world tabular classification datasets from the OpenML-CC18 benchmark. We consider different data regimes and the effect of self-supervised model pre-training. Surprisingly, we find that the classical margin sampling technique matches or outperforms all others, including current state-of-art, in a wide range of experimental settings. To researchers, we hope to encourage rigorous benchmarking against margin, and to practitioners facing tabular data labeling constraints that hyper-parameter-free margin may often be all they need.

研究の動機と目的

• 多様なトレーニングレジーム下で、実世界の表形式データセットに対する複数のアクティブラーニング手法の性能を厳密に評価すること。
• 現代的で複雑なアクティブラーニング手法が、実用的状況下で古典的なマージンサンプリング手法を常に上回るかどうかを評価すること。
• モデルの事前学習、シードセットサイズ、バッチサイズがアクティブラーニングの性能に与える影響を調査すること。
• 将来の研究および表形式データのアクティブラーニングにおける実用的導入のための包括的ベンチマークを提供すること。
• より複雑なアクティブラーニング手法が、単純な不確実性ベースの戦略に比べて本質的に優れているという仮定に疑問を呈すること。

提案手法

• 本研究では、OpenML-CC18ベンチマークから得た69個の表形式データセット上で、不確実性ベース、多様性ベース、および不確実性＋多様性ハイブリッドの合計15種類のアクティブラーニング手法を評価した。
• モデルは確率的勾配降下法を用いて深層ニューラルネットワークで訓練され、固定バッチサイズで反復的なラウンドでアクティブラーニングが実行された。
• マージンサンプリングは、上位2つのソフトマックス確率の差が最小であるインスタンス（予測の不確実性が最も高いもの）を選択する。
• 性能は、複数の取得ラウンドにおけるテスト精度で測定され、p ≤ 0.1の有意水準でペアドt検定を用いて統計的有意性を評価した。
• 事前学習あり・なしの両方のモデルを含み、小・中・大のデータレジームごとに結果を報告した。
• 相対的性能の比較にはウィンマトリクスとボックスプロットが用いられ、相対的な改善度は、データセット全体でランダムサンプリングとの比較を可視化した。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークを用いた場合、マージンサンプリングは実世界の表形式データセットにおいて、現代的で最先端のアクティブラーニング手法を上回るのか？
• RQ2 小・中・大のシードセットサイズおよびバッチサイズといった異なるデータレジームは、アクティブラーニング手法の相対的性能にどのように影響するか？
• RQ3 自己教師あり事前学習は、マージンサンプリングと比較して、非マージン系アクティブラーニング手法の性能を向上させるのか？
• RQ4 多様性を促進するか、不確実性＋多様性のハイブリッド手法は、実用的状況下でマージンサンプリングを常に上回るのか？
• RQ5 複雑な手法の性能優位性は、広範なデータセットおよび設定の範囲で統計的に有意であるのか？

主な発見

• マージンサンプリングは、すべてのデータレジームおよび事前学習条件において、テスト精度の観点で他のすべてのアクティブラーニング手法を上回った。
• 自己教師あり事前学習を用いても、マージンサンプリングを顕著に上回る手法は存在せず、統計的に有意な差も認められなかった。
• 中規模設定では、マージンサンプリングはランダムサンプリングに対する平均1〜3%の相対的改善を示し、取得ラウンド全体にわたり一貫した向上が見られた。
• BALD や PowerBALD などの手法はマージンサンプリングに劣り、特に PowerBALD の性能はノイズ機構がランダムサンプリングに類似しているため、その影響が大きいと考えられる。
• クラスタリングベースの手法（例：Cluster-Margin や TypiClust）は、クラスタサイズが非常に小さい（1.25）場合を除き、ランダムサンプリングと同等またはそれ以下であったが、その場合に限りマージンに近い性能を示した。
• 初期ラベル付き例がたった30例の小規模設定でも、マージンサンプリングはランダムサンプリングに対して一貫した性能向上を示し、低データレジームにおいても頑健であることが示された。