[論文レビュー] Multi-Domain Active Learning: Literature Review and Comparative Study

Rui He, Shengcai Liu+2 more|arXiv (Cornell University)|Jun 25, 2021

Machine Learning and Algorithms被引用数 5

ひとこと要約

本論文は、6つの多ドメイン学習（MDL）モデルと5つのアクティブラーニング（AL）戦略を組み合わせることで、6つのテキストおよび視覚的データセットを対象に30通りのアルゴリズム組み合わせを評価する包括的なマルチドメインアクティブラーニング（MDAL）パイプラインを提案する。主な発見は、単純なBvSB（最良対第二位）不確実性戦略が最先端のAL手法と競合する性能を示し、MAN（多項式敵対的ネットワーク）モデルと組み合わせたBvSBは、すべてのデータセットで一貫して最高または平均以上を記録することである。

ABSTRACT

Multi-domain learning (MDL) refers to learning a set of models simultaneously, where each model is specialized to perform a task in a particular domain. Generally, a high labeling effort is required in MDL, as data needs to be labeled by human experts for every domain. Active learning (AL) can be utilized in MDL to reduce the labeling effort by only using the most informative data. The resultant paradigm is termed multi-domain active learning (MDAL). In this work, we provide an exhaustive literature review for MDAL on the relevant fields, including AL, cross-domain information sharing schemes, and cross-domain instance evaluation approaches. It is found that the few studies which have been directly conducted on MDAL cannot serve as off-the-shelf solutions on more general MDAL tasks. To fill this gap, we construct a pipeline of MDAL and present a comprehensive comparative study of thirty different algorithms, which are established by combining six representative MDL models and five commonly used AL strategies. We evaluate the algorithms on six datasets involving textual and visual classification tasks. In most cases, AL brings notable improvements to MDL, and the naive BvSB (best vs. second best) Uncertainty strategy can perform competitively with the state-of-the-art AL strategies. Besides, BvSB with the MAN (multinomial adversarial networks) model can consistently achieve top or above-average performance on all the datasets. Furthermore, we qualitatively analyze the behaviors of the well-performed strategies and models, shedding light on their superior performance in the comparison. Finally, we recommend using BvSB with the MAN model in the application of MDAL due to their good performance in the experiments.

研究の動機と目的

• マルチドメイン学習（MDL）における高いラベル付けコストを低減するため、人間のアノテーション作業を削減するアクティブラーニング（AL）を統合すること。
• 特定のタスクやモデルに依存しない一般化可能なMDALタスクのための、MDLモデルとAL戦略の有効な組み合わせを同定すること。
• 最新のニューラルネットワークベースのMDLモデルと従来のAL戦略をサポートする、標準化され、再利用可能なMDALパイプラインを提供すること。
• 複数のデータセットとタスクを対象に、多様なMDAL設定の性能を実験的に評価・比較すること。

提案手法

• 6つの代表的なMDLモデル（例：MAN、SDL-joint、PACs）と5つの一般的なAL戦略（例：不確実性、BADGE、ランダム）を統合するモジュラーなMDALパイプラインを構築する。
• ドメイン固有およびドメイン共有の特徴抽出を可能にする共有プライベートアーキテクチャをMDLモデルに採用することで、一般化性能とロバストネスを向上させる。
• プールベースのアクティブラーニングを適用し、モデルが不確実性、多様性、またはクエリ戦略に基づいてプール内から最も情報量の多いインスタンスを選択する。
• 勾配ベースの埋め込みやk-meansクラスタリングなどのインダクティブバイアスを用いて、選択プロセス中のバッチの多様性とモデル挙動を分析する。
• インtra-batch多様性を評価するため、最適なクラスタ数（k）を特定するためにエリボー法を用いる。
• 交差エントロピー損失を用いてエンドツーエンドでモデルを訓練し、ドメイン内およびドメイン外のタスクで標準指標（例：正確度）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 異なるMDLモデルとAL戦略の組み合わせは、多様なテキストおよび視覚的マルチドメイン分類タスクにおいてどのように性能を発揮するか？
• RQ2 BvSB（最良対第二位）のような単純な不確実性ベースのAL戦略は、MDAL設定においてより複雑な最先端のAL手法を上回る性能を示せるか？
• RQ3 MDLモデルとAL戦略のどのような構造的および行動的特性が、複数ドメインにわたる一般化性能とロバストネスを向上させるか？
• RQ4 MDALにおけるイントラバッチ多様性の本質的特徴は、単一ドメインのアクティブラーニングで一般的に見られる冗長性問題をどの程度軽減するか？
• RQ5 ドメインの衝突やモデル初期化の影響は、MDALにおける統合学習とドメイン固有の学習の性能にどのように現れるか？

主な発見

• NaiveなBvSB（最良対第二位）不確実性戦略は、全6つのデータセットで最先端のAL手法と競合する性能を示し、しばしば最高または準最高の成績を記録する。
• BvSB不確実性とMAN（多項式敵対的ネットワーク）モデルの組み合わせは、全データセットで一貫して最高または平均以上を記録し、ロバストネスと一般化性能を示している。
• MANモデルに組み込まれた共有プライベートアーキテクチャが、優れた性能を実現する鍵要因である。これは、効果的なドメイン固有およびドメイン共有表現学習を可能としている。
• BvSBおよびBADGE戦略では、ランダム選択に比べて選択インスタンスのイントラバッチ多様性が顕著に高く、BvSBは知られる多様性の高いBADGEと同等の多様性レベルを示している。
• 不確実性戦略の典型的な弱みである類似インスタンスの冗長的選択は、複数ドメインに起因するインフラバッチ多様性の向上により、MDALでは緩和されている。
• SDL-jointは、共同学習の利点によりDigitsデータセットで最良の性能を発揮するが、ドメインの衝突が生じるか、強力な事前学習が用いられる際には性能が低下する。これは、矛盾するラベルを処理する際の限界を示している。