[논문 리뷰] ATL: Autonomous Knowledge Transfer from Many Streaming Processes

Mahardhika Pratama, Marcus de Carvalho외 3명|arXiv (Cornell University)|2019. 10. 08.

Data Stream Mining Techniques참고 문헌 20인용 수 13

한 줄 요약

ATL은 레이블이 없는 타겟 데이터, 공변량 이탈, 비동기적 개념 이탈이 동반된 다중 스트리밍 프로세스 간 자율적이고 온라인 비지도 전이학습을 위한 딥러닝 프레임워크를 제안한다. KL 발산 최적화와 적응형 가우시안 믹스처 모델(AGMM)을 활용한 동시 생성 및 판별 학습을 통해 탄력적이고 도메인 불변의 네트워크 구조를 자가진화시키며, 다중스트림 환경에서 기준 모델 대비 뛰어난 정확도와 속도를 달성한다.

ABSTRACT

Transferring knowledge across many streaming processes remains an uncharted territory in the existing literature and features unique characteristics: no labelled instance of the target domain, covariate shift of source and target domain, different period of drifts in the source and target domains. Autonomous transfer learning (ATL) is proposed in this paper as a flexible deep learning approach for the online unsupervised transfer learning problem across many streaming processes. ATL offers an online domain adaptation strategy via the generative and discriminative phases coupled with the KL divergence based optimization strategy to produce a domain invariant network while putting forward an elastic network structure. It automatically evolves its network structure from scratch with/without the presence of ground truth to overcome independent concept drifts in the source and target domain. The rigorous numerical evaluation has been conducted along with a comparison against recently published works. ATL demonstrates improved performance while showing significantly faster training speed than its counterparts.

연구 동기 및 목표

• 레이블이 없는 타겟 도메인을 가진 다중 스트리밍 데이터 프로세스 간 전이학습의 과제를 해결한다.
• 원천 도메인과 타겟 도메인에서 동시에 공변량 이탈과 비동기적 개념 이탈을 극복한다.
• 감독 및 비감독 모드에서 모두 동적으로 네트워크 구조를 적응시키는 온라인, 자가진화형 딥 네트워크를 개발한다.
• 타겟 도메인의 진실값에 의존하지 않고 도메인 불변 표현 학습을 가능하게 한다.
• 실시간 스트리밍 환경에서 낮은 계산 오버헤드로 높은 성능을 달성한다.

제안 방법

• 생성 및 판별 학습 단계를 통합: 타겟 도메인에서 복원 오차를 위한 오토인코더와 원천 도메인에서 예측 오차를 위한 분류기.
• 원천 및 타겟의 은닉 표현 간 KL 발산 최소화를 통해 도메인 불변성을 강제한다.
• 생성 단계에서 강건성과 일반화 능력을 향상시키기 위해 노이즈 주입 디노이징 오토인코더(DAE)를 활용한다.
• 예측 오차 및 복원 오차 기반으로 은닉 유닛을 동적으로 증가 및 제거하는 적응형 가우시안 믹스처 모델(AGMM)을 도입한다.
• 성장 기준을 충족할 경우 동시에 여러 은닉 유닛을 증가시키는 자가진화 네트워크 구조를 적용하여 이격에 빠르게 적응한다.
• 일괄 처리 온라인 학습 환경에서 확률적 경사 하강법(SGD)을 통해 모든 목표를 동시에 최적화하여 시간 및 공간 복잡도를 낮춘다.

실험 결과

연구 질문

• RQ1 딥러닝 프레임워크가 다중 스트리밍 프로세스에서 실시간으로 네트워크 구조를 자율적으로 적응시켜 개념 이탈을 다룰 수 있는가?
• RQ2 제안된 KL 발산 기반 도메인 정렬 전략은 타겟 데이터에 레이블이 없을 때 공변량 이탈을 얼마나 효과적으로 줄이는가?
• RQ3 AGMM 기반의 은닉 유닛 증가 및 제거 메커니즘이 고정 또는 단일 유닛 증가 전략에 비해 얼마나 더 뛰어난 적응성을 제공하는가?
• RQ4 ATL의 성능은 FUSION, MSC, MSCRDR 등의 최첨단 방법과 비교해 다중스트림 문제에서 정확도 및 학습 속도 측면에서 어떻게 나타나는가?
• RQ5 타겟 도메인에 레이블이 없을 경우 성능 저하가 심각한가, 그리고 ATL은 자가지도 학습을 통해 이를 완화할 수 있는가?

주요 결과

• ATL은 SEA 데이터셋에서 타겟 분류 정확도(TCR) 90.84%와 원천 분류 정확도(SCR) 92.30%를 기록하며, 정확도와 학습 속도 모두 기준 모델을 능가한다.
• 제거 실험 결과, KL 발산 단계를 제거하면 TCR가 1% 감소하고 SCR이 0.3% 감소함을 확인하여, 도메인 정렬에 있어 핵심적 역할을 한다는 것을 입증한다.
• AGMM를 제거할 경우 TCR가 0.5% 감소하고 SCR이 0.3% 감소함을 확인하여, 비정상적인 조건에서 탄력적이고 적응적인 네트워크 성장을 위해 중요하다는 것을 보여준다.
• 자기진화 메커니즘(은닉 유닛 증가/제거)을 비활성화할 경우 성능이 크게 하락(90.27% TCR)함을 확인하여, 이격 적응을 위해 필수적임을 입증한다.
• 여러 에포크를 사용할 경우 성능이 최대 2% 향상되지만, 단일 패assing 모드에서도 모델이 효과적으로 기능함을 확인하여 진정한 온라인 학습 능력을 입증한다.
• ATL의 학습 시간은 FUSION, MSC, TLDA보다 뚜렷이 빠르며, SEA 데이터셋에서 단 81초로 높은 정확도를 유지한다.