[論文レビュー] Weighted Ensembles for Active Learning with Adaptivity

Konstantinos D. Polyzos, Qin Lu+1 more|arXiv (Cornell University)|Jun 10, 2022

Gaussian Processes and Bayesian Inference被引用数 7

ひとこと要約

本稿では、ラベル付きデータに応じて重みが動的に調整される、適応的重み付きガウス過程（EGP）のアンサンブルを用いたアクティブラーニングの手法を提案する。カーネルの重みがラベル付きデータに応じて動的に変化することで、モデルの表現力が向上する。また、アンサンブル化された獲得関数を導入し、ロバスト性と性能が向上し、合成データ、医療データ、ロボット工学データの全分野において回帰および不確実性の定量化の両面で、単一のGPベースラインを上回る性能を示す。

ABSTRACT

Labeled data can be expensive to acquire in several application domains, including medical imaging, robotics, and computer vision. To efficiently train machine learning models under such high labeling costs, active learning (AL) judiciously selects the most informative data instances to label on-the-fly. This active sampling process can benefit from a statistical function model, that is typically captured by a Gaussian process (GP). While most GP-based AL approaches rely on a single kernel function, the present contribution advocates an ensemble of GP models with weights adapted to the labeled data collected incrementally. Building on this novel EGP model, a suite of acquisition functions emerges based on the uncertainty and disagreement rules. An adaptively weighted ensemble of EGP-based acquisition functions is also introduced to further robustify performance. Extensive tests on synthetic and real datasets showcase the merits of the proposed EGP-based approaches with respect to the single GP-based AL alternatives.

研究の動機と目的

• 静的カーネル選択に起因する単一カーネルガウス過程の表現力の制限を是正する。
• 医療画像やロボット工学のようなオンラインでデータが限られる環境において、複数のGPモデルの重みを動的に調整することで、モデルの適応性を向上させる。
• EGPフレームワークを用いて、不確実性および不一致に基づく複数の獲得関数を開発する。
• 個々の獲得関数の重みをオンライン最適化により動的に学習することで、多様なタスクにわたるロバスト性を向上させる。
• 実世界および合成データセットにおいて、予測誤差と不確実性のキャリブレーションの両面で、単一GPベースラインを上回る優れた性能を示す。

提案手法

• 異なるカーネルを有するガウス過程のアンサンブルを構築し、収集されたラベル付きデータに応じて変化する適応的重みを割り当てる。
• 各GP成分の現在のラベルセットに対する尤度に基づき、ベイジアンモデル平均を用いてEGPの重みを更新する。
• 複数の獲得関数を、不確実性（例：分散）および不一致（例：アンサンブルメンバー間の予測の分散）に基づいて設計する。
• オンライン最適化を用いて個々の獲得関数の重みを動的に学習することで、適応的マルチ獲得関数を構築する。
• EGPモデルと適応的獲得関数を繰り返しアクティブラーニングループに適用し、各ステップで最も情報量の多いサンプルを問い合わせる。
• 負の予測対数尤度（NPLL）による不確実性のキャリブレーションと、正規化平均二乗誤差（NMSE）による性能評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 データが限られる状況下で、適応的重み付き成分を有するガウス過程アンサンブルは、関数近似性能を向上させることができるか？
• RQ2 EGPに基づく獲得関数は、単一GPベースラインと比較して、予測精度および不確実性の定量化の両面で優れた性能を示すか？
• RQ3 複数の獲得関数の適応的重み付けは、多様なデータセットおよびタスクにわたるロバスト性をどの程度向上させるか？
• RQ4 EGP-multiAFアプローチは、ラベル付きデータが限られる実世界の医療およびロボット工学の回帰タスクにおいても、優れた性能を維持できるか？
• RQ5 EGPフレームワークは、完全な再トレーニングを必要とせずに、段階的にラベルが付与されるデータにおける複雑な非線形関係を効果的に捉えることができるか？

主な発見

• EGP-multiAFアプローチは、マラリアおよび糖尿病データセットで最小の正規化平均二乗誤差（NMSE）を達成し、GP-Varベースラインを上回った。
• カリフォルニア住宅データセットでは、EGP-multiAFが最良の負の予測対数尤度（NPLL）を達成し、優れた不確実性キャリブレーションを示した。
• ロボットプッシュタスク（3次元および4次元）において、EGPベースのすべての手法が、単一GPベースラインと比較してNMSEおよびNPLLを顕著に低減した。EGP-multiAFは一貫して最高のパフォーマンスを示した。
• マラリアデータセットでは単一GPアプローチが比較的高い性能を示したが、EGPベースのすべての手法がGP-Varベースラインよりも低いNPLLを達成し、不確実性の定量化が向上していることを示した。
• 静的または非適応的組み合わせと比較して、獲得関数の適応的アンサンブルが一貫して優れた性能を示し、オンライン重み適応の価値を裏付けた。
• EGPモデルが重み適応により関数空間において最も関連性の高いカーネルを動的に選択できることにより、全テストシナリオにおいて関数空間の表現力とロバスト性が向上した。