[論文レビュー] DT-LET: Deep Transfer Learning by Exploring where to Transfer

Jianzhe Lin, Qi Wang+2 more|arXiv (Cornell University)|Sep 23, 2018

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 6

ひとこと要約

DT-LETは、異なるアーキテクチャを有するソースドメインとターゲットドメインのネットワーク間で最適なクロスレイヤー対応関係を学習することにより、'どこに転送するか'という問題に取り組む、画期的な深層転送学習フレームワークを提案する。レイヤーのマッチングと特徴の整合性を同時に最適化する統一された目的関数を導入することで、クロス解像度画像分類および手書き数字認識タスクにおいて、標準的な転送学習手法よりも最大5%の精度向上を達成した。

ABSTRACT

Previous transfer learning methods based on deep network assume the knowledge should be transferred between the same hidden layers of the source domain and the target domains. This assumption doesn't always hold true, especially when the data from the two domains are heterogeneous with different resolutions. In such case, the most suitable numbers of layers for the source domain data and the target domain data would differ. As a result, the high level knowledge from the source domain would be transferred to the wrong layer of target domain. Based on this observation, "where to transfer" proposed in this paper should be a novel research frontier. We propose a new mathematic model named DT-LET to solve this heterogeneous transfer learning problem. In order to select the best matching of layers to transfer knowledge, we define specific loss function to estimate the corresponding relationship between high-level features of data in the source domain and the target domain. To verify this proposed cross-layer model, experiments for two cross-domain recognition/classification tasks are conducted, and the achieved superior results demonstrate the necessity of layer correspondence searching.

研究の動機と目的

• ソースネットワークとターゲットネットワークの層構造が同一であると仮定する従来の転送学習手法の制限に対処すること。これは、しばしばネガティブな転送を引き起こす。
• 特に異なるデータ解像度を有する異種ドメインにおいて、ソースネットワークとターゲットネットワーク間で最適なレイヤー対応関係を学習することが、転送性能を向上させることを調査すること。
• クロスドメイン転送に適した最良のレイヤーマッチングと特徴の整合性を同時に学習する統一された目的関数の開発。
• 最適な転送が常にフルランクまたはレイヤーごとのマッチングであるとは限らず、特徴間の意味的対応関係に依存することを示すこと。

提案手法

• フレームワークは、ソースドメインおよびターゲットドメインで独立して階層的特徴を学習するためにスタックドオートエンコーダーを用いる。
• 高次特徴間の対応関係を推定するための新しい目的関数を定義し、分布の乖離を最小化する。
• 学習された特徴に基づいて、カーネル相関分析（CCA）を適用して、2つのネットワークのレイヤー間の最適なマッチングを同定する。
• 最良のマッチングレイヤーを用いて、データを共通の部分空間に射影し、そこではソースデータ上で分類器（例：SVM）を学習し、ターゲットデータでテストする。
• 統一された損失関数を用いたエンドツーエンドの学習プロセスにより、ネットワークアーキテクチャとレイヤー対応関係を同時に最適化する。
• 同一でないネットワークの深さを許容し、固定されたレイヤー整合性の仮定を回避するクロスレイヤー転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ソースネットワークとターゲットネットワーク間で最適なレイヤー対応関係を学習することは、異種ドメインにおける転送学習性能を向上させることができるか？
• RQ2 非同一レイヤーに知識を転送することは、標準的なレイヤー単位の転送よりも優れた性能をもたらすか？
• RQ3 レイヤーのマッチング戦略（例：連続的 vs. 離散的）の選択が分類精度に与える影響は何か？
• RQ4 フルランク転送が常に最適であるか？それとも、ネガティブな転送を回避できるため、低ランク転送がより良い結果をもたらす場合があるか？
• RQ5 ニューロン数などのハイパーパrameter（例：最終層のニューロン数）が最終的な分類性能に与える影響は何か？

主な発見

• DT-LETはNUS-WIDEデータセットで平均85.1%の精度を達成し、ベースライン手法の最大80%を上回った。
• フルランク転送設定 $ r_{5,4}^{2} $ が最高の全体精度（85.1%）を達成したが、目的関数の損失が最小であるとは限らず、損失の最小化だけでは最適な性能が保証されないことを示した。
• フルランクでない転送設定ではネガティブな転送が性能を低下させることを示したため、適切なレイヤーが選択された場合、ランクの低減が有益である可能性がある。
• 連続的転送戦略（例：最後の2つのレイヤーに転送）は、離散的転送（例：レイヤー3と5に転送）を上回った。これは、特徴転送における空間的連続性が結果を改善することを示唆している。
• 最終層のニューロン数は性能に顕著な影響を与え、マルチフィーチャーデータセットでは30ニューロンが最良の精度をもたらした。これはこのハイパーパrameterに敏感であることを示している。
• 目的関数の損失と分類精度の間に明確な正の相関関係は見られず、分類器の選択やデータの射影方法など、他の要因も最終的な性能に影響を与えることが示された。