[論文レビュー] Learning Sampling Policies for Domain Adaptation

Yash Patel, Kashyap Chitta+1 more|arXiv (Cornell University)|May 19, 2018

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 6

ひとこと要約

本稿では、教師ありドメイン適応のためのサンプリング方策を学習するための深層Qラーニングアプローチを提案する。教師分類器を用いてターゲットデータにノイズのあるラベルを生成し、精度を最大化するための情報量の多いサンプルを選択するエージェントを訓練する。この手法は、Office-31で半教師ありアプローチにおいて最先端の性能を達成し、ベースラインを上回り、無教師SOTAに近づけるが、固定で最適化されていない表現によって性能が制限されている。

ABSTRACT

We address the problem of semi-supervised domain adaptation of classification algorithms through deep Q-learning. The core idea is to consider the predictions of a source domain network on target domain data as noisy labels, and learn a policy to sample from this data so as to maximize classification accuracy on a small annotated reward partition of the target domain. Our experiments show that learned sampling policies construct labeled sets that improve accuracies of visual classifiers over baselines.

研究の動機と目的

• ターゲットドメインにおける少量のラベル付き報酬集合を活用することで、ドメイン適応における高いラベル付けコストの課題に対処すること。
• ターゲットデータの最適なサンプリング方策を学習することで、半教師ありドメイン適応における分類精度を向上させること。
• 事前学習済みの教師分類器の知識を強化学習エージェントと統合し、情報量の多いターゲットサンプルを能動的に選択することを支援すること。
• ポリシーに基づくサンプリングが、リソースが限られたドメイン適応設定において、ランダムまたはヒューリスティックなサンプリングを上回るかどうかを検討すること。
• Office-31ベンチマークで本手法を評価し、無教師および半教師ありベースラインと性能を比較すること。

提案手法

• 教師ドメインで微調整されたResNet-50バックボーンが、ターゲットドメイン画像に疑似ラベルを生成するための教師分類器$C_{src}$を出力する。
• 二値SVMドメイン識別器$C_{dom}$が、教師特徴とターゲット特徴を区別するように学習され、意思決定境界からの距離に基づいて報酬集合$S_{rew}$をサンプリングする。
• 深層Qネットワーク（DDQN）がサンプリング方策として機能し、マルチクラスSVMターゲット分類器$C_{tar}$の訓練集合$S_{pos}$にターゲット画像を追加する。
• Qエージェントは、保持された報酬集合$S_{rew}$における$C_{tar}$の精度に基づくスパarsな報酬を使用して訓練され、各行動後に$S_{pos}$を再訓練する。
• 状態表現には、予測信頼度のヒストグラムと候補特徴が含まれ、1イテレーションあたり21枚の画像を対象とする行動空間を持つ。
• QネットワークはAdam最適化子、$\u0000$-greedy探索、20,000イテレーションにわたり10ステップごとにターゲットネットワークを更新することで訓練される。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、人為的ラベルが最小限のデータで、分類器の精度を向上させる情報量の多いターゲットドメイン画像を学習的にサンプリングできるか？
• RQ2 半教師ありドメイン適応において、ポリシーに基づくサンプリングは、ランダムまたはヒューリスティックなサンプリングと比べてどのように異なるか？
• RQ3 教師分類器からの疑似ラベルと能動的サンプリングを組み合わせることで、下流の性能がどの程度向上するか？
• RQ4 固定された教師分類器と報酬ベースの強化学習エージェントを統合することで、無教師ドメイン適応手法よりも優れた結果が得られるか？
• RQ5 表現の質が、学習されたサンプリング方策の性能に与える影響はどの程度か？

主な発見

• 本手法は、A→Dで86.1%、A→Wで83.5%、D→Aで64.6%、D→Wで93.1%、W→Aで60.8%、W→Dで98.2%の精度を達成し、すべての転送タスクでベースラインを上回った。
• 本手法は、Office-31の6つのすべての転送タスクでベースライン（76.9%から96.8%）を上回り、能動的サンプリングによる一貫した向上を示した。
• 事前学習済み教師分類器からの固定表現を使用しているにもかかわらず、Kangら（2019）の無教師SOTAドメイン適応手法との間のギャップの大部分を埋めることができた。
• ドメイン識別器の信頼度に基づいてサンプリングされた報酬集合$S_{rew}$は、ポリシー性能の評価に効果的に機能し、Qエージェントが高品質なサンプルに導くように誘導した。
• DDQNベースのサンプリング方策はドメインをまたいで一般化でき、特に1クラスあたり3ラベルのみのリソースが限られた状況で一貫した向上を達成した。
• 本手法は、強化学習による能動学習と教師ドメインの知識を統合することで、単独で用いるよりも優れた性能を達成できることを示した。