[論文レビュー] Optimal Transport for Deep Joint Transfer Learning

Ying Lu, Liming Chen+1 more|arXiv (Cornell University)|Sep 9, 2017

Domain Adaptation and Few-Shot Learning参考文献 11被引用数 5

ひとこと要約

本稿では、分類器の予測を整合させるために最適輸送（OT）損失を用いて、ソースおよびターゲットデータ上で深層ニューラルネットワークを共同で微調整するための共同転移学習ネットワーク（JTLN）を提案する。柔軟なコスト行列を用いて事前知識を組み込むことで、細分化された航空機分類データセットにおいて、標準的な微調整および共同微調整を上回る少サンプル分類性能を達成する。

ABSTRACT

Training a Deep Neural Network (DNN) from scratch requires a large amount of labeled data. For a classification task where only small amount of training data is available, a common solution is to perform fine-tuning on a DNN which is pre-trained with related source data. This consecutive training process is time consuming and does not consider explicitly the relatedness between different source and target tasks. In this paper, we propose a novel method to jointly fine-tune a Deep Neural Network with source data and target data. By adding an Optimal Transport loss (OT loss) between source and target classifier predictions as a constraint on the source classifier, the proposed Joint Transfer Learning Network (JTLN) can effectively learn useful knowledge for target classification from source data. Furthermore, by using different kind of metric as cost matrix for the OT loss, JTLN can incorporate different prior knowledge about the relatedness between target categories and source categories. We carried out experiments with JTLN based on Alexnet on image classification datasets and the results verify the effectiveness of the proposed JTLN in comparison with standard consecutive fine-tuning. This Joint Transfer Learning with OT loss is general and can also be applied to other kind of Neural Networks.

研究の動機と目的

• 関連するソースデータを活用することで、少サンプル画像分類におけるデータ不足問題に対処する。
• 連続的な微調整の限界を克服し、ソースドメインとターゲットドメイン間のタスク関連性を無視しない。
• ソースおよびターゲットのカテゴリ間の関係を明示的にモデル化する共同学習フレームワークを開発する。
• OT損失における柔軟なコスト行列を通じて、カテゴリ類似度に関する事前知識を統合できるようにする。
• 提案手法の有効性を、細分化された画像分類ベンチマークで実証する。

提案手法

• 共通の特徴抽出バックボーンと個別の分類ヘッドを用いて、ソースおよびターゲットデータ上でDNNを共同で学習する。
• ソースおよびターゲットの分類器出力間の最適輸送（OT）損失を導入し、分布の不一致を最小化する。
• 事前に定義されたコスト行列を用いて、長さが異なる確率測度に対してもワッサーシュタイン損失を一般化する。
• 特徴（例：fc7層）から計算される異なるコスト指標（例：MK-MMDやOTベースの距離）を用い、カテゴリ類似度に関する事前知識を符号化する。
• 両分類器における標準的な交差エントロピー損失とOT損失を組み合わせた損失関数でネットワークを学習する。
• 初期層を固定し、後続層を微調整したImageNetで事前学習されたAlexNetを用いて手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 標準的な連続的微調整と比較して、OT損失を用いた共同微調整は、少サンプル分類性能を向上させるか？
• RQ2 異なるコスト行列を通じてカテゴリ類似度に関する事前知識を組み込むと、モデル性能にどのような影響を与えるか？
• RQ3 提案されたJTLNフレームワークは、異なるニューラルネットワークアーキテクチャおよびデータセットに一般化可能か？
• RQ4 ソースドメインのサイズおよびカテゴリの重複度は、OTベースの整合化の有効性にどのような影響を与えるか？
• RQ5 共有ラベル空間を必要とせずに、OT損失がソースおよびターゲット分類器のギャップを効果的に埋め合わせられるか？

主な発見

• MK-MMDコスト指標を用いたJTLNは、ITL-Airbusデータセットで標準的な共同微調整と比較して5ポイントの精度向上（0.5497 → 0.5982）を達成した。
• ITL-Boeingデータセットでは、JTLN（fc7MKMMD）が精度を0.5395から0.5422に、JTLN（fc7OT）が0.5395から0.5436に向上させた。
• 大規模なソースドメイン（例：87のソースカテゴリを有するITL-Airbus）では、小規模なドメイン（例：78のソースカテゴリを有するITL-Boeing）よりも性能向上が顕著に現れた。
• 連続的微調整はBoeingおよびAirbusでそれぞれ0.5286および0.545の精度を達成し、これらはすべてのJTLNバージョンに上回られた。
• OT損失を含まない共同微調整では、精度が0.5395および0.5497にとどまり、OT損失が共同学習の恩恵をさらに高めていることが示された。
• 結果から、OT損失を用いてソース・ターゲットタスクの関連性を明示的にモデル化することで、誘導的転移学習における一般化性能が向上することが確認された。