[논문 리뷰] Transfer learning approach for financial applications

Cosmin Stamate, George D. Magoulas외 1명|arXiv (Cornell University)|2015. 09. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 9

한 줄 요약

이 논문은 다양한 금융 데이터셋에서 인공 신경망 성능을 향상시키기 위해 선택적 육종 기법과 행동유전학 기반 유전 알고리즘을 통합한 새로운 전이 학습 프레임워크를 제안한다. 이전에 훈련된 모델들로부터 지식을 재사용함으로써 진화적 선택 및 교배 전략을 적용함으로써, 분류 정확도를 크게 향상시키고 훈련 시간을 단축시키며, 신용 평가 및 통화 인증과 같은 작업들 간에 강력한 정확한 전이를 보여준다.

ABSTRACT

Artificial neural networks learn how to solve new problems through a computationally intense and time consuming process. One way to reduce the amount of time required is to inject preexisting knowledge into the network. To make use of past knowledge, we can take advantage of techniques that transfer the knowledge learned from one task, and reuse it on another (sometimes unrelated) task. In this paper we propose a novel selective breeding technique that extends the transfer learning with behavioural genetics approach proposed by Kohli, Magoulas and Thomas (2013), and evaluate its performance on financial data. Numerical evidence demonstrates the credibility of the new approach. We provide insights on the operation of transfer learning and highlight the benefits of using behavioural principles and selective breeding when tackling a set of diverse financial applications problems.

연구 동기 및 목표

• 각 새로운 금융 과제에 대해 인공 신경망을 다시 훈련하는 데 드는 비효율성을 해결하기 위해 기존 지식을 활용하는 것.
• 행동유전학에서 영감을 얻은 선택적 육종 기법을 도입하여 전이 학습에서 부정적 전이의 위험을 줄이는 것.
• 이질적인 데이터셋 간의 지식 전이를 통해 신용 평가 및 통화 인증과 같은 금융 분류 과제의 속도와 정확도를 향상시키는 것.
• 진화적 선택 및 교배 전략이 금융 응용 분야에서 전이 학습 성능을 향상시키는 데 기여하는지 평가하는 것.
• 하이브리드 유전 알고리즘-ANN 프레임워크가 다양한 금융 데이터셋에서 갑작스러운 성능 저하 없이 일관되고 높은 정확도를 달성할 수 있음을 보여주는 것.

제안 방법

• 프레임워크는 유전 알고리즘 내에서 개개운 인공 신경망(ANN)을 개체로 사용하며, 각 개체는 훈련된 모델을 나타낸다.
• 선택적 육종은 한 과제(소스)에서 상위 성능을 보인 ANN을 선별하여 다음 과제(타겟)의 부모로 삼음으로써 적용되며, 동물 및 인간 유전학의 선택적 육종을 모방한다.
• 선택, 교배, 변이와 같은 진화적 연산을 반복적으로 적용하여 타겟 금융 과제에서 더 나은 성능을 내는 모델로 개체군을 진화시킨다.
• 환경적 변동은 각 훈련 세트에 적용된 데이터 필터를 통해 시뮬레이션되며, 실제 세계의 데이터 다양성을 반영하고 모델의 강건성을 평가한다.
• 이 방법은 표현 전이 학습을 사용하며, 소스 과제에서의 지식을 다른 시간에 학습된 타겟 과제로 전이한다.
• 정확도, 재현율, F1 점수, 검증 및 테스트 세트에서의 평균 제곱오차와 같은 표준 지표를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 행동유전학 기반 유전 알고리즘 프레임워크에서 선택적 육종 기법이 금융 데이터셋에서의 전이 학습 성능을 향상시키는가?
• RQ2 예를 들어 호주 신용 과제에서의 지식 전이가 독일 신용 또는 은행권 인증과 같은 타겟 과제에서 성능을 얼마나 향상시키는가?
• RQ3 제안된 방법은 이질적인 금융 응용 분야에서 표준 전이 학습 접근법에 비해 부정적 전이의 위험을 줄이는가?
• RQ4 다양한 금융 분류 과제에서 제안된 전이 학습 프레임워크의 성능이 무작위 초기화된 신경망과 비교해 어떻게 되는가?
• RQ5 이 프레임워크는 성능 저하나 잘못된 분류율의 급격한 증가 없이 다양한 금융 데이터셋에서 일관된 성능을 유지할 수 있는가?

주요 결과

• 제안된 전이 학습 프레임워크는 테스트 기간 동안 은행권 데이터셋에서 평균 제곱오차 1.877을 기록했으며, 이는 무작위 초기화된 네트워크의 3.01 오차보다 유의미하게 낮았다.
• 독일 신용 데이터셋에서 프레임워크는 테스트 세트에서 정밀도 0.782와 재현율 0.885를 달성했으며, 베이스라인 무작위 초기화보다 뛰어난 성능을 보였다.
• 호주 신용 과제에서는 테스트 정밀도 0.838과 재현율 0.879를 기록하여 다양한 금융 데이터에서 강력한 일반화 능력을 보였다.
• 모델 간 성능의 연속성이 확보되어 있었으며, 잘못된 양성 또는 음성의 급격한 증가가 없어 안정적이고 신뢰할 수 있는 지식 전이를 보여주었다.
• 모든 과제에서 검증 오차는 일관되게 낮게 유지되었으며, 각각 호주(28.155), 독일(33.3), 은행권(2.22)이었다. 이는 강력한 모델 안정성을 시사한다.
• 모든 평가 지표에서 무작위 초기화된 네트워크보다 성능이 뛰어났으며, 특히 은행권 인증 과제에서 오차가 25% 이상 감소하여 가장 큰 향상이 이루어졌다.