[論文レビュー] Transfer learning approach for financial applications

Cosmin Stamate, George D. Magoulas+1 more|arXiv (Cornell University)|Sep 9, 2015

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 9

ひとこと要約

本稿では、行動遺伝学にインspされた遺伝的アルゴリズムと選択的交配技術を統合した、新たな転移学習フレームワークを提案する。この手法は、さまざまな金融データセットにおける人工ニューラルネットワーク（ANN）の性能を向上させることを目的としている。進化的な選択と交配戦略を通じて、事前に学習されたモデルからの知識を再利用することで、分類精度を著しく向上させるとともに、トレーニング時間を短縮する。本手法は、クレジットスコアリングや通貨認証といったタスクにおいて、強固な正の転移を示している。

ABSTRACT

Artificial neural networks learn how to solve new problems through a computationally intense and time consuming process. One way to reduce the amount of time required is to inject preexisting knowledge into the network. To make use of past knowledge, we can take advantage of techniques that transfer the knowledge learned from one task, and reuse it on another (sometimes unrelated) task. In this paper we propose a novel selective breeding technique that extends the transfer learning with behavioural genetics approach proposed by Kohli, Magoulas and Thomas (2013), and evaluate its performance on financial data. Numerical evidence demonstrates the credibility of the new approach. We provide insights on the operation of transfer learning and highlight the benefits of using behavioural principles and selective breeding when tackling a set of diverse financial applications problems.

研究の動機と目的

• 新しい金融タスクごとにANNを再びから学習する非効率性を解消するため、事前に得られた知識を活用すること。
• 行動遺伝学にインspされた選択的交配技術を組み込むことで、転移学習における負の転移のリスクを低減すること。
• 異種のデータセット間での知識転送を通じて、クレジットスコアリングや通貨認証といった金融分類タスクの速度と精度を向上させること。
• 進化的な選択と交配戦略が、金融分野の応用における転移学習性能を向上させることを評価すること。
• ハイブリッド遺伝的アルゴリズム-ANNフレームワークが、複数の金融データセットにおいて一貫性があり高い精度の結果を達成できることを示すこと、かつ急激な性能低下を示さないこと。

提案手法

• フレームワークは、遺伝的アルゴリズムにおける個体としての人工ニューラルネットワーク（ANN）の集団を採用し、各個体は訓練済みモデルを表す。
• 選択的交配は、あるタスク（ソース）で上位にランクされたANNを、次のタスク（ターゲット）の親として選択することで実施され、動物や人間の遺伝学における選択的交配を模倣する。
• 選択、交差、突然変異の進化的な操作を繰り返し適用することで、ターゲット金融タスクにおけるより優れた性能を持つモデルへと集団を進化させる。
• 環境の多様性は、各トレーニングセットに適用されるデータフィルタを通じてシミュレートされ、現実世界のデータ多様性を反映し、耐性を評価する。
• 本手法は表象的転移学習を採用しており、異なる時間に学習されたソースタスクからの知識がターゲットタスクに転送される。
• 評価には、検証およびテストセットにおける標準指標（正確性、再現率、F1スコア、平均二乗誤差）を用いる。

実験結果

リサーチクエスチョン

• RQ1 行動遺伝学にインスパイドされた遺伝的アルゴリズムフレームワークにおける選択的交配技術が、金融データセットにおける転移学習性能を向上させることができるか？
• RQ2 例えばオーストラリアのクレジットから得た知識を、ドイツのクレジットやバンクノート認証といったターゲットタスクに転送することで、どの程度性能が向上するか？
• RQ3 本手法は、異種の金融応用において、標準的な転移学習手法と比較して負の転移のリスクを低減するか？
• RQ4 複数の金融分類タスクにおいて、本手法の性能はランダム初期化されたニューラルネットワークと比較してどうなるか？
• RQ5 本フレームワークは、顕著な誤検出率や誤分類率の急増を示さずに、さまざまな金融データセットで一貫した性能を維持できるか？

主な発見

• 本手法は、バンクノートデータセットにおいてテスト段階で平均二乗誤差1.877を達成した。これは、ランダム初期化されたネットワークの3.01誤差よりも顕著に低い。
• ドイツのクレジットデータセットでは、テストセットで正確性0.782、再現率0.885を達成し、ベースラインのランダム初期化を上回った。
• オーストラリアのクレジットタスクでは、テストでの正確性0.838、再現率0.879を示し、多様な金融データに対する強力な一般化能力を示した。
• 本手法は、誤検出や誤検出の急増がない継続的な性能を示しており、安定的かつ信頼性の高い知識転送が実現していることを示唆している。
• 全タスクにおける検証誤差は一貫して低く保たれ、オーストラリアで28.155、ドイツで33.3、バンクノートで2.22であった。これは、強力なモデル安定性を示している。
• 本手法は、すべての評価指標でランダム初期化されたネットワークを上回り、特にバンクノート認証タスクで25％以上の誤差低減が見られた。