[論文レビュー] Domain Adaptive Transfer Learning with Specialist Models

Jiquan Ngiam, Daiyi Peng+4 more|arXiv (Cornell University)|Nov 16, 2018

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 89

ひとこと要約

本論文は、事前学習データの選択が転移学習に与える影響を分析し、domain adaptive transfer learning を導入する。これは target-driven importance weights を用いて関連サブセット上で事前学習を行い、微細なデータセットで強力な結果を達成する。

ABSTRACT

Transfer learning is a widely used method to build high performing computer vision models. In this paper, we study the efficacy of transfer learning by examining how the choice of data impacts performance. We find that more pre-training data does not always help, and transfer performance depends on a judicious choice of pre-training data. These findings are important given the continued increase in dataset sizes. We further propose domain adaptive transfer learning, a simple and effective pre-training method using importance weights computed based on the target dataset. Our method to compute importance weights follow from ideas in domain adaptation, and we show a novel application to transfer learning. Our methods achieve state-of-the-art results on multiple fine-grained classification datasets and are well-suited for use in practice.

研究の動機と目的

• 事前学習データの選択が、ターゲットデータセット全体にわたる転移学習性能にどのように影響するかを調査する。
• 特に微細なタスクにおいて、より大きな事前学習データが必ずしも転移を改善するとは限らないことを示す。
• 対象データセットへの関連性によって元データの例を重みづけする domain adaptive transfer learning を導入する。
• 重要度重み付けされた事前学習が、手動で選択したドメイン固有のサブセットと同等またはそれ以上の性能を発揮できることを示す。

提案手法

• 重要度重みを、ターゲットラベル分布 P_t(y) とソースラベル分布 P_s(y) の比として定義する、P_t(y)/P_s(y)。
• ターゲットラベルを使用せず、ソースデータ上で訓練した分類器とターゲットデータの予測を用いて P_t(y) を推定する。
• 算出された重要度重みで事前学習中に元のサンプルを重み付けし、それに応じて事前学習データセットをサンプルする。
• adaptive transfer を、手動で選択した事前学習サブセットおよび標準的なベースラインと比較する。大規模なソースデータセット（JFT、ImageNet）と標準モデル（Inception v3、AmoebaNet-B）を用いて。
• 重要度重み付けの安定化のため、P_t(y) を計算する際に softmax に温度パラメータを適用する。

実験結果

リサーチクエスチョン

• RQ1 ターゲット適合性の重要度でソースの事前学習データを重み付けることは、複数のターゲットデータセットにわたる転移性能を改善するか。
• RQ2 ソースとターゲット間のドメイン類似性は転移結果と潜在的なネガティブ転移にどのように影響するか。
• RQ3 微細なタスクにおいて、手動で選択されたデータや他のデータ選択手法と比較して domain adaptive transfer learning はどうか。
• RQ4 大規模モデルを使用した場合でも、domain-adaptive pre-training で同じ定性的傾向を維持するか。

主な発見

• より多くの事前学習データが必ずしも良いわけではなく、関連性の低い例を割り引く選択的なサブセットが転移を改善する。
• Domain adaptive transfer learning は、手動で選択したラベルサブセットと比較してより良いまたは競合的な結果を示し、強力な性能を達成するために大規模な事前学習データを必ずしも必要としない。
• 転移はソースドメインがターゲットタスクと密接に一致する場合に最も強く、ミスマッチはネガティブ転移を引き起こす可能性がある。
• Adaptive transfer はいくつかの微細なデータセットで性能を向上させ、最先端の手動選択サブセットと競合するかそれを上回る。大モデルでも同様の利得を示す。
• 大規模モデル（例: AmoebaNet-B）は、ドメイン適応型事前学習から同様の定性的利得を示し、一般的なサブセットと特定のサブセット間のギャップを縮めることがある。