[論文レビュー] Discrepancy-Based Active Learning for Domain Adaptation

Antoine de Mathelin, François Deheeger+2 more|arXiv (Cornell University)|Mar 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 70被引用数 11

ひとこと要約

本稿では、局所的不一致距離を活用して、ソースラベル関数に近い仮説に焦点を当てることで一般化性能を向上させる、ドメイン適応のための不一致に基づくアクティブラーニング手法を提案する。ラデマッハ平均と局所的不一致を用いた一般化バウンドの導出により、スケーラブルなKメディオイドベースのクエリアルゴリズムを設計し、最大100,000件のサンプルを含む大規模データセット、特に画像分類および回帰タスクにおいて最先端の性能を達成した。

ABSTRACT

The goal of the paper is to design active learning strategies which lead to domain adaptation under an assumption of Lipschitz functions. Building on previous work by Mansour et al. (2009) we adapt the concept of discrepancy distance between source and target distributions to restrict the maximization over the hypothesis class to a localized class of functions which are performing accurate labeling on the source domain. We derive generalization error bounds for such active learning strategies in terms of Rademacher average and localized discrepancy for general loss functions which satisfy a regularity condition. A practical K-medoids algorithm that can address the case of large data set is inferred from the theoretical bounds. Our numerical experiments show that the proposed algorithm is competitive against other state-of-the-art active learning techniques in the context of domain adaptation, in particular on large data sets of around one hundred thousand images.

研究の動機と目的

• 学習されたソースドメインのモデルがターゲットドメインに一般化できないドメインシフトの課題に対処すること。
• アクティブラーニングを通じてターゲットラベルのクエリ数を最小限に抑えることで、ドメイン適応におけるラベルコストを低減すること。
• ドメインシフト下でタイトな一般化バウンドを保証する理論的裏付けのあるアクティブラーニング戦略の開発。
• 計算効率の良いKメディオイドベースのクエリアルゴリズムの設計により、大規模データセットへのスケーラビリティを実現すること。
• アクティブラーニングにおける理論的保証と実践的パフォーマンスのギャップを埋めること。

提案手法

• ソースとターゲット分布間の局所的不一致距離を定義し、ソースデータで良好に動作する関数に仮説クラスを制限する。
• ラデマッハ複雑度と局所的不一致を用いて、一般損失関数が正則性条件を満たす場合に有効な、ターゲットリスクの一般化誤差バウンドを導出する。
• 導出された一般化バウンドに基づくクエリ戦略を策定し、ラベル付きとラベルなし分布間の不一致を最小化するターゲットサンプルを優先的に選択する。
• 分布の整合性を保証するように、効率的なK個のクエリを一括で選択する実用的なKメディオイドベースのアルゴリズムを提案する。
• Kメディオイドクラスタリング手法を活用することで、高価な最適化や敵対的訓練を回避し、大規模データセットへのスケーリングを実現する。
• 分類タスクへの拡張のために、分類固有の損失関数とラベル空間に適合した不一致に基づくクエリメカニズムを適応させる。

実験結果

リサーチクエスチョン

• RQ1 標準的な不一致測度と比較して、局所的不一致距離はドメインシフト下のアクティブラーニングにおいて、よりタイトな一般化バウンドを提供できるか？
• RQ2 ラデマッハ複雑度と局所的不一致を含む理論的一般化バウンドを、スケーラブルで実用的なアクティブラーニングアルゴリズムにどのように変換できるか？
• RQ3 提案されたKメディオイドベースのクエリ戦略は、大規模ドメイン適応タスクにおいて、従来のアクティブラーニング手法よりもラベル効率とモデルパフォーマンスに優れているか？
• RQ4 ターゲット分布がソースと著しく異なる場合、特にターゲット分布が大きくずれた状況下で、本手法の性能はいかがなものか？
• RQ5 クエリ選択戦略は、特に非対称ドメインシフト設定下で、モデルの安定性と一般化性能にどのような影響を与えるか？

主な発見

• 提案されたKメディオイドベースのアクティブラーニングアルゴリズムは、最大100,000枚の画像を含む大規模データセットにおいて、最先端の手法と同等の性能を達成した。
• 超伝導体の回帰タスクでは、低→高ドメインシフト実験でKメディオイド法が平均絶対誤差（MAE）を12.70にまで低下させ、バランス重み付け下でRandom（15.33）とK-means（14.43）を上回った。
• 高→低ドメインシフトでは、Kメディオイド法がMAE 9.79を達成し、Random（10.54）とQBC（10.65）を顕著に上回り、挑戦的で非対称なシフト状況下でも頑健であることを示した。
• 繰り返し実験における性能の標準偏差が低く抑えられており、他の手法と比較してより高い訓練安定性を示した。
• ターゲット分布が歪んでいる場合、特に低ドメインの高温領域に位置する情報量の多いサンプルをKメディオイド法がより多く選択しており、困難なシフト状況下での一般化性能の向上に寄与した。
• 理論的分析により、仮説空間を関連する関数に制限する局所的不一致の使用により、最近のアクティブラーニング手法よりもタイトな一般化バウンドを本手法が提供することが確認された。