[論文レビュー] Integrating Informativeness, Representativeness and Diversity in Pool-Based Sequential Active Learning for Regression

Ziang Liu, Dongrui Wu|arXiv (Cornell University)|Mar 26, 2020

Machine Learning and Algorithms参考文献 17被引用数 4

ひとこと要約

本稿では、非教師付き初期化と教師付き反復の2段階に分けることで、情報性、代表性、多様性を統合的に最適化する、回帰用プールベース逐次アドティブラーニング（ALR）の新しい手法を3つ提案する。最も優れた性能を示した手法RDiGSrは、L2正則化を施したリッジ回帰を用いた12の多様なデータセットにおいて、平均RMSEが最低で相関係数が最も高く、最先端の手法を顕著に上回った。

ABSTRACT

In many real-world machine learning applications, unlabeled samples are easy to obtain, but it is expensive and/or time-consuming to label them. Active learning is a common approach for reducing this data labeling effort. It optimally selects the best few samples to label, so that a better machine learning model can be trained from the same number of labeled samples. This paper considers active learning for regression (ALR) problems. Three essential criteria -- informativeness, representativeness, and diversity -- have been proposed for ALR. However, very few approaches in the literature have considered all three of them simultaneously. We propose three new ALR approaches, with different strategies for integrating the three criteria. Extensive experiments on 12 datasets in various domains demonstrated their effectiveness.

研究の動機と目的

• ラベル付けが高コストであるが、未ラベルデータは豊富な実世界の応用において、回帰データのラベル付けコストを低減すること。
• プールベース逐次アドティブラーニングにおける回帰問題において、情報性、代表性、多様性という3つの重要な基準を同時に最適化する統一的なフレームワークの構築。
• 情報性（EMCMまたはQBCを介して）、代表性と多様性（RDおよびiGSを介して）を整合的かつ原理的かつ整合的に統合することで、モデル性能の向上を図ること。
• 提案手法を多様な回帰データセットで評価し、既存の最先端手法との性能向上の統計的有意性を確立すること。

提案手法

• アドティブラーニングを2段階に分解：代表性と多様性のみを用いた非教師付き初期化フェーズと、3つの基準をすべて統合する教師付き反復フェーズ。
• 代表性・多様性（RD）アプローチと改善されたグリーディーサンプリング（iGS）および期待モデル変化最大化（EMCM）を組み合わせることで、3つの統合戦略（RD-iGS、RDiGS、RDiGSr）を提案。
• ベースライン回帰モデルとして、L2正則化（r = 0.01, 0.001, 0.1）を施したリッジ回帰を用い、実験全体でハイパーパrameterを最適化した。
• 反復フェーズではグリーディーサンプリング戦略を採用し、各新しいサンプルは情報性（モデルの分散）、代表性（局所的密度）、多様性（すでに選択済みのサンプルからの距離）の重み付き組み合わせに基づいて選択される。
• ランダムサンプリング（RS）をベースラインとして用い、データセット間で性能指標（RMSEとCC）を正規化し、公平な比較のための正規化済みAUCを計算。
• 有意水準α = 0.05の2標本片側t検定を用いて、提案手法とベースライン手法との性能差の統計的有意性を検証。

実験結果

リサーチクエスチョン

• RQ1 情報性（EMCMまたはQBCを介して）と代表性・多様性（RDを介して）を統合することで、既存の最先端のALR手法よりも優れた回帰モデル性能が得られるか？
• RQ2 アドティブラーニングプロセスを非教師付き初期化と教師付き反復に分けることで、サンプル選択の質とモデルの一般化性能が向上するか？
• RQ3 RDとiGSの異なる統合戦略が、回帰タスクにおけるモデル精度（RMSE）と相関係数（CC）のトレードオフにどのように影響するか？
• RQ4 リッジ回帰の正則化係数（r = 0.001, 0.01, 0.1）の変化に対して、提案手法は頑健であるか？

主な発見

• RDiGSrは12の全データセットで最低の平均RMSEを達成し、ランダムサンプリング（RS）と比較して、RMSEの正規化済みAUCが平均17.0%向上し、他のすべての手法を上回った。
• RDiGSrはRSと比較して平均7.0%のCC向上を達成し、t検定における正規化済みAUCが1.0000に達し、相関性能が顕著に優れていることを示した。
• RDiGSrはRD-EMCMおよびiGSの両者と比較して、RMSEでp値0.0000、CCでp値0.0010の統計的有意な改善を示し、優れた性能を確認した。
• 正則化係数r = 0.001およびr = 0.1の両方の条件下でも、RDiGSrはRMSEおよびCCの観点でRD-EMCMおよびiGSを一貫して上回った。
• RDiGSrはRDiGSよりRMSEが小さく（p = 0.0690）、CCが顕著に大きく（p = 0.0001）なったため、反復フェーズでiGSrをiGSよりも優れていると示した。
• RDiGS、RDiGSr、RD-iGSという3つの提案手法は、すべて最先端のRD-EMCMおよびiGS手法と同等以上に性能を発揮し、特にRDiGSrが全体として最も効果的であった。