[論文レビュー] A Survey on Deep Transfer Learning

Chuanqi Tan, Fuchun Sun+4 more|arXiv (Cornell University)|Aug 6, 2018

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 37

ひとこと要約

本サーベイは、深層転移学習の包括的な分類体系を提示し、それを4つのタイプに分類する：インスタンスベース、マッピングベース、ネットワークベース、敵対的ベースの手法。主な技術をレビューし、ラベル付きデータが限られたドメイン間で知識を転送する深層ニューラルネットワークの役割を強調するとともに、残差ネットワーク（ResNet）、VGG、Inceptionが特に転送可能であるアーキテクチャとして特定されている。

ABSTRACT

As a new classification platform, deep learning has recently received increasing attention from researchers and has been successfully applied to many domains. In some domains, like bioinformatics and robotics, it is very difficult to construct a large-scale well-annotated dataset due to the expense of data acquisition and costly annotation, which limits its development. Transfer learning relaxes the hypothesis that the training data must be independent and identically distributed (i.i.d.) with the test data, which motivates us to use transfer learning to solve the problem of insufficient training data. This survey focuses on reviewing the current researches of transfer learning by using deep neural network and its applications. We defined deep transfer learning, category and review the recent research works based on the techniques used in deep transfer learning.

研究の動機と目的

• 生物学情報学やロボット工学の分野において、データ収集が高コストかつ時間のかかる場合に、ラベル付きデータが不足するという課題に対処するため。
• ソースドメインとターゲットドメイン間のi.i.d.仮定を緩和するソリューションとして、深層転移学習を形式化するため。
• 深層転移学習手法を4つの明確なカテゴリに体系的に分類する初の試み。
• 深層転移学習手法の最新の進展と、多様な分野における実用的応用をレビューするため。
• 負の転送、転送可能性の測定、学習された表現の物理的解釈可能性といった、未解決の課題を特定するため。

提案手法

• ドメインとタスクの不一致に基づく深層転移学習の形式的定義を提示：$\mathcal{D}_s \neq \mathcal{D}_t$ および／または $\mathcal{T}_s \neq \mathcal{T}_t$。
• 深層転移学習を4つのカテゴリに分類：インスタンスベース、マッピングベース、ネットワークベース、敵対的ベースの手法。
• 勾配反転層とドメイン識別器を用いた敵対的ベースの深層転移学習を導入し、ドメイン間の特徴分布を一致させる。
• 分類精度とドメイン不変性のバランスをとるために、共同損失関数 $\mathcal{L}_D = \mathcal{L}_c + \lambda \mathcal{L}_{adver}$ を採用。
• 大規模なソースデータセットから得た事前学習済み深層ネットワーク（例：ResNet、VGG、Inception）を特徴抽出器として用い、知識を小規模なターゲットタスクに転送。
• DNNが抽出した特徴を用いた教師なしクラスタリングを適用し、ラベルなしの例で新しいクラスを発見する。これは重力波信号検出の事例で示されている。

実験結果

リサーチクエスチョン

• RQ1 どのようにして深層転移学習が、生物学情報学やロボット工学のような低リソース分野におけるデータ不足を効果的に緩和できるか？
• RQ2 深層転移学習の基本的なカテゴリは何であり、それらのメカニズムと応用においてどのように異なるか？
• RQ3 どの深層ニューラルネットワークアーキテクチャが、後続タスクに対して最も高い転送可能性を示すか？
• RQ4 敵対的訓練をどのように活用することで、ドメイン不変の表現を学習し、ドメイン間での一般化を向上させられるか？
• RQ5 負の転送や転送可能性の測定といった、深層転移学習における主な課題は何か、そしてそれらに対処するにはどうすればよいか？

主な発見

• 事前学習モデル（例：ResNet、VGG、Inception）を用いたネットワークベースの深層転移学習は、階層的特徴学習と転送可能性の両面から優れた性能を発揮する。
• 特に勾配反転とドメイン識別器を用いた敵対的ベースの手法は、ドメイン整合性を著しく向上させ、ドメインシフトを低減する。
• 分類損失とドメイン敵対的損失の共同最適化により、スパarselyラベル付き設定においても、ドメイン間およびタスク間の知識転送が同時に可能になる。
• 転送可能性はネットワークアーキテクチャに依存する：一部のモジュールは、ドメイン内精度よりも転送可能性に大きな影響を与えることが示唆され、アーキテクチャ設計が知識転送に与える影響が明らかになった。
• 深層ニューラルネットワークは強力な教師なし特徴抽出器として機能でき、ラベルなしの例でさえもクラスタリングに基づく新しい信号クラスの発見を可能にする。重力波検出の事例でこれを示している。
• LeNet、AlexNet、VGG、Inception、ResNetは、強力な特徴表現力と一般化能力を備えているため、転移学習において特に効果的な選択肢と特定された。