[論文レビュー] Sample-based Regularization: A Transfer Learning Strategy Toward Better Generalization

Yunho Jeon, Yong-Seok Choi+4 more|arXiv (Cornell University)|Jul 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 31被引用数 4

ひとこと要約

本論文は、トレーニング中にソースモデルに依存せずに、同じクラスのサンプルの特徴埋め込みをより類似させるように正則化する、新しい転移学習戦略であるサンプルベース正則化（SBR）を提案する。SBRは、複数のデータセットおよびサンプリングレートにおいて既存手法を上回り、ソースタスクからの最小限のインダクティブバイアスで最先端の精度を達成する。

ABSTRACT

Training a deep neural network with a small amount of data is a challenging problem as it is vulnerable to overfitting. However, one of the practical difficulties that we often face is to collect many samples. Transfer learning is a cost-effective solution to this problem. By using the source model trained with a large-scale dataset, the target model can alleviate the overfitting originated from the lack of training data. Resorting to the ability of generalization of the source model, several methods proposed to use the source knowledge during the whole training procedure. However, this is likely to restrict the potential of the target model and some transferred knowledge from the source can interfere with the training procedure. For improving the generalization performance of the target model with a few training samples, we proposed a regularization method called sample-based regularization (SBR), which does not rely on the source's knowledge during training. With SBR, we suggested a new training framework for transfer learning. Experimental results showed that our framework outperformed existing methods in various configurations.

研究の動機と目的

• 小規模データセットでトレーニングする際のディープラーニングにおける過学習の課題に対処すること。
• トレーニング中にソースモデルを正則化の基準として使用しないで、転移学習における一般化性能を向上させること。
• ターゲットタスクの内在的構造により整合性の高い代替正則化メカニズムを探索すること。
• ターゲットタスクの最適化を妨げる可能性のある関係のないソース知識の干渉を低減すること。
• ペairワイズなサンプル類似性を通じて特徴学習を強化し、低データ環境におけるロバスト性を向上させる手法を開発すること。

提案手法

• 同じクラスに属するサンプルの特徴埋め込みを最大限に類似させるように正則化するサンプルベース正則化（SBR）を提案する。
• 対照的損失を用いて、同じクラスの特徴間の距離を最小化することで、特徴抽出器の出力にSBRを適用する。
• 分類器と特徴抽出器を分離し、分類器には交差エントロピー損失のみ、特徴抽出器にはSBR損失のみを適用することで干渉を低減する。
• ペアワイズ類似性損失を用い、同じクラスのサンプルが近くなるようなメトリクス空間を学習するようにネットワークを促進する。これはメトリクスラーニングに類似している。
• ソースモデルを初期化にのみ使用し、最適化中に正則化のために使用しない、トレーニングフレームワークを導入する。
• 二本の損失戦略を採用：分類には交差エントロピー、特徴レベルの一貫性にはSBRを適用する。

実験結果

リサーチクエスチョン

• RQ1 クラス内サンプル類似性に基づく正則化は、少サンプル転移学習における一般化を向上させることができるか？
• RQ2 トレーニング中にソースモデルに依存しないことで、データが限られたターゲットタスクでより良いパフォーマンスが得られるか？
• RQ3 ソースモデルを正則化の基準として使用する既存の転移学習手法と比較して、SBRはどのように異なるか？
• RQ4 ペアワイズ類似性正則化は、低データ環境下でワンホットターゲット監視よりも一般化性能が優れているか？
• RQ5 ソースモデルを変更しても（例：ImageNetからPlaces365に）SBRのパフォーマンス向上が維持されるか？

主な発見

• CUBでは、ソースにPlaces365を使用した100%のサンプリングレートで74.91%の精度を達成し、最良のベースライン（67.39%）を7.52ポイント上回った。
• Carsデータセットでは、100%のサンプリングレートで90.59%の精度を達成し、次に良い手法（88.61%）を1.98ポイント上回った。
• Aircraftデータセットでは、100%のサンプリングレートで85.04%の精度を達成し、ベースライン（78.98%）を6.06ポイント上回った。
• Flowersデータセットでは、100%のサンプリングレートで94.73%の精度を達成し、ベースライン（92.14%）を2.59ポイント上回った。
• SBRは、すべてのデータセットおよびサンプリングレートで、L2-SP、DELTA、BSSの変種を含むすべてのベースラインを一貫して上回り、ロバスト性と一般化性能を示した。
• 低データ可用性でも強力なパフォーマンスを示し、Flowersで15%のサンプリングレートでも67.47%の精度を達成し、ベースラインの59.27%を顕著に上回った。