[論文レビュー] Multi-Stage Transfer Learning with an Application to Selection Process

André Sales Mendes, Julian Togelius+1 more|arXiv (Cornell University)|Jun 1, 2020

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 5

ひとこと要約

本稿では、大規模な初期段階のデータセットで訓練された単純で低次元のニューラルネットワークから、後続段階のより複雑で高次元のモデルへ知識を転送する、マルチステージ転移学習（MSGTL）を提案する。確率的アップデートマスクを用いることで知識の保持とファインチューニングのバランスを図ることで、小規模な後続段階のデータセットにおける過学習を低減し、特にサンプル数が少ない後続段階において顕著に性能向上を達成する。

ABSTRACT

In multi-stage processes, decisions happen in an ordered sequence of stages. Many of them have the structure of dual funnel problem: as the sample size decreases from one stage to the other, the information increases. A related example is a selection process, where applicants apply for a position, prize, or grant. In each stage, more applicants are evaluated and filtered out, and from the remaining ones, more information is collected. In the last stage, decision-makers use all available information to make their final decision. To train a classifier for each stage becomes impracticable as they can underfit due to the low dimensionality in early stages or overfit due to the small sample size in the latter stages. In this work, we proposed a extit{Multi-StaGe Transfer Learning} (MSGTL) approach that uses knowledge from simple classifiers trained in early stages to improve the performance of classifiers in the latter stages. By transferring weights from simpler neural networks trained in larger datasets, we able to fine-tune more complex neural networks in the latter stages without overfitting due to the small sample size. We show that it is possible to control the trade-off between conserving knowledge and fine-tuning using a simple probabilistic map. Experiments using real-world data demonstrate the efficacy of our approach as it outperforms other state-of-the-art methods for transfer learning and regularization.

研究の動機と目的

• マルチステージ選抜プロセスにおける二重のファンネル問題に対処すること。初期段階ではサンプル数が多くても次元が低く、後続段階では次元が高くなるがサンプル数が少ない。
• 分類器を個別に訓練する場合の初期段階におけるアンダーフィッティングと、後続段階におけるオーバーフィッティングを克服すること。
• 初期段階の単純なモデルから得られる知識を活用する転移学習フレームワークを構築し、データ量が多くてもサンプル数が少ない後続段階での一般化性能を向上させること。
• 転送された知識の保持と後続段階モデルにおけるファインチューニングのトレードオフを制御できる調整可能なハイパーパrameterを導入すること。
• 実世界の選抜データを3年分用いて検証し、最先端の転移学習および正則化手法を上回ることを示すこと。

提案手法

• MSGTLは、初期段階では大規模で低次元のデータセットを用いて単純で浅いネットワークを訓練し、段階を経て順次ニューラルネットワーク（NN）を学習する。
• 初期段階のNNの重みを、後続段階のより深い・広いネットワークに転送し、初期化として用いることで過学習を防止する。
• ハイパーパrameter ρ で制御される確率的アップデートマスクにより、転送された重みの更新確率を制御し、知識の保持と新しいデータへの適応のバランスを図る。
• ネットワークアーキテクチャは、各層が直前の層の半数のノードを持つ減少型のレイヤー構成を採用し、最終層で γ 個のノードにまで減少する。この構成はハイパーパrameter ω（最大レイヤー数）と γ（出力ノード数）で制御される。
• 本手法は構造化データおよび非構造化データ（例：テーブルデータ、カテゴリカルデータ、テキスト）を処理でき、共変量シフトやクラス不均衡の問題を軽減することを目的としている。
• 分布シフトに強い性能を示すかを評価するため、縦断的（跨年）および交差検証（同一年）の両設定を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 初期段階の低次元モデルから得た知識の転送が、後続段階の高次元でサンプル数が少ない分類タスクの性能向上に寄与するか？
• RQ2 確率的アップデートマスク（ρ）が、MSGTLにおける知識の保持とモデルのファインチューニングのバランスにどのように影響するか？
• RQ3 共変量シフトが生じるマルチステージ選抜プロセスにおいて、MSGTLは最先端の転移学習および正則化手法を上回るか？
• RQ4 ネットワークの深さ（レイヤー数）が、MSGTLにおける知識転送の有効性にどのように影響するか？
• RQ5 単一段階またはカスケード型分類器アプローチと比較して、MSGTLは後続段階における性能低下をどの程度軽減するか？

主な発見

• 縦断的および交差検証の両実験において、MSGTLは他の最先端の転移学習および正則化手法を上回り、評価段階で最高のF1スコアを達成した。
• 縦断的設定では、2番目に優れた手法よりも0.17のスコア向上を達成し、共変量シフト下でも顕著な向上を示した。
• 交差検証設定では、2番目に優れた手法よりも0.16のスコア向上を達成し、データ分布が一貫する状況でも頑健な性能を示した。
• 最適なハイパーパラメータ ρ は 0.3 であり、知識の転送は効果的だが制限的ではなく、より良いファインチューニングと性能向上を可能にした。
• ネットワークの深さ（レイヤー数）が増加するにつれて性能が低下した。これは、より深いアーキテクチャでは転送された重みの影響が薄れ、過学習リスクが高まることを示している。
• サンプル数が少ない後続段階における性能低下を、初期段階からの汎用的知識の活用によって顕著に低減した。