[論文レビュー] Stopping criterion for active learning based on deterministic generalization bounds

Hideaki Ishibashi, Hideitsu Hino|arXiv (Cornell University)|May 15, 2020

Machine Learning and Algorithms参考文献 29被引用数 8

ひとこと要約

本稿では、各新しいトレーニングサンプルの追加後の期待一般化誤差の変化に関する決定的PAC-Bayesian上限を用いた、タスクに依存しないアクティブラーニングの停止基準を提案する。この上限をランズ検定と組み合わせることで、性能向上が統計的に有意でなくなった時点で自動的に学習を停止させることができ、ラベル付きテストデータを必要とせず、テストセットベースの手法と同等またはそれ以上の停止精度を達成する。

ABSTRACT

Active learning is a framework in which the learning machine can select the samples to be used for training. This technique is promising, particularly when the cost of data acquisition and labeling is high. In active learning, determining the timing at which learning should be stopped is a critical issue. In this study, we propose a criterion for automatically stopping active learning. The proposed stopping criterion is based on the difference in the expected generalization errors and hypothesis testing. We derive a novel upper bound for the difference in expected generalization errors before and after obtaining a new training datum based on PAC-Bayesian theory. Unlike ordinary PAC-Bayesian bounds, though, the proposed bound is deterministic; hence, there is no uncontrollable trade-off between the confidence and tightness of the inequality. We combine the upper bound with a statistical test to derive a stopping criterion for active learning. We demonstrate the effectiveness of the proposed method via experiments with both artificial and real datasets.

研究の動機と目的

• テストデータやタスク固有のしきい値に依存しないアクティブラーニングの停止基準の開発を目的とする。
• テストデータが不足または利用できない高コストラベリング環境において、アクティブラーニングをいつ停止すべきかを特定する課題に対処することを目的とする。
• 計算的に効率的で統計的に妥当な、理論的裏付けのある普遍的な停止ルールを提供することを目的とする。
• 標準的な確率的PAC-Bayesian境界が内在する信頼性と鋭さのトレードオフを回避するため、決定的境界を導出することを目的とする。
• ハイパーパramータチューニングの必要なしに、最小限の計算コストで自動的かつ信頼性の高いアクティブラーニングの終了を実現することを目的とする。

提案手法

• PAC-Bayesian理論を用いて、新しいトレーニングサンプルを追加する前後の期待一般化誤差の差に対する新しい決定的上界を導出する。
• トレーニングサンプルの独立性を仮定しないで上界を構築するため、一般の学習設定に適用可能である。
• 上界をランズ検定と組み合わせることで、性能変化の統計的有意性を検出可能とし、自動停止を可能にする。
• 分離されたテストセットに依存せず、トレーニングデータのみを用いて期待一般化誤差のギャップを評価する。
• Gaussian process regressionを事例として実装するが、任意のモデルおよび損失関数に一般化可能である。
• 性能向上がランダムであるという帰無仮説が棄却されない時点で停止を決定し、収束を示していると判断する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きテストデータやタスク固有のしきい値を必要としないアクティブラーニングの停止基準を開発することは可能か？
• RQ2 標準の境界が内在する信頼性と鋭さのトレードオフを回避する決定的PAC-Bayesian境界を導出することは可能か？
• RQ3 トレーニングデータと統計的検定のみを用いて、自動的に収束を検出することは可能か？
• RQ4 クロスバリデーション、PAC-Bayesian境界、分散ベースの基準といった既存手法と比較して、提案手法の停止精度はどのように異なるか？
• RQ5 提案手法は、高い停止タイミングの信頼性を維持しつつ、低い計算コストを維持できるか？

主な発見

• 提案手法は、6つのデータセットのうち4つ（airfoil, power plant, protein, concrete）で停止時刻（e_stop）の平均誤差が最小であり、それぞれ2.38±0.58（airfoil）、13.52±1.05（power plant）、27.89±2.34（protein）、15.83±1.28（concrete）を達成した。
• Yachtデータセットでは16.33±1.28を達成し、グランドトゥースを除くすべてのベースラインを上回った。
• PAC-Bayesianベースラインは、トレーニング誤差と確率的境界に依存するため、しばしば早すぎるか遅すぎる停止を示し、性能が悪かった。
• クロスバリデーション手法は、データ分割に起因するデータの減少により、テスト誤差推定が不正確になった。
• 最大分散基準は直感的ではあるが、提案手法に劣り、モデルの時間的乖離をより適切に捉えられていた。
• 提案手法は、人工的および実世界のデータを含む多様なデータセットにおいて、一貫性があり安定した停止性能を示し、強固であった。