[논문 리뷰] Unsupervised Transfer Learning for Spatiotemporal Predictive Networks

Zhiyu Yao, Yunbo Wang외 2명|arXiv (Cornell University)|2020. 09. 24.

Domain Adaptation and Few-Shot Learning인용 수 7

한 줄 요약

이 논문은 여러 사전 훈련된 시공간 RNN에서 목표 예측 네트워크로의 비지도 전이 학습을 가능하게 하는 미분 가능한 프레임워크인 전이 가능한 메모리(Transferable Memory)를 제안한다. 새로운 전이 가능한 메모리 유닛(TMU)을 통해 다양한 소스 모델의 메모리 상태에서 지능적으로 지식을 정련함으로써, 소스 데이터가 내용적으로 관련이 없더라도 세 가지 벤치마크에서 예측 성능을 크게 향상시킨다. 이는 파인튜닝을 능가하며, 레이블 없이도 효과적인 지식 전이를 가능하게 한다.

ABSTRACT

This paper explores a new research problem of unsupervised transfer learning across multiple spatiotemporal prediction tasks. Unlike most existing transfer learning methods that focus on fixing the discrepancy between supervised tasks, we study how to transfer knowledge from a zoo of unsupervisedly learned models towards another predictive network. Our motivation is that models from different sources are expected to understand the complex spatiotemporal dynamics from different perspectives, thereby effectively supplementing the new task, even if the task has sufficient training samples. Technically, we propose a differentiable framework named transferable memory. It adaptively distills knowledge from a bank of memory states of multiple pretrained RNNs, and applies it to the target network via a novel recurrent structure called the Transferable Memory Unit (TMU). Compared with finetuning, our approach yields significant improvements on three benchmarks for spatiotemporal prediction, and benefits the target task even from less relevant pretext ones.

연구 동기 및 목표

• 레이블이 없는 데이터에서 여러 비지도 사전 훈련된 시공간 모델로부터 새로운 예측 작업으로 지식을 전이하는 데 도전하는 것.
• 시공간 예측에서 소스 작업과 타겟 작업 간 도메인 이동과 분포 불일치 문제를 극복하는 것.
• 다양한 소스 모델들로부터 전이 가능한 표현을 동적으로 선택하고 통합할 수 있는 미분 가능한 메커니즘을 개발하는 것.
• 소스 데이터의 내용이 관련이 적더라도 시간 동적 특성이 유사한 경우에도 지식 전이가 효과적으로 작용하는지 검증하는 것.
• 다양한 RNN 기반 시공간 모델에 적용 가능한 확장성 있고 아키텍처에 종속되지 않는 솔루션을 제공하는 것.

제안 방법

• 다양한 사전 훈련된 RNN의 메모리 상태에서 비지도 지식 정련을 수행하는 미분 가능한 프레임워크인 전이 가능한 메모리(Transferable Memory)를 제안한다.
• 정련된 표현을 학습 가능한 게이팅 메커니즘을 통해 통합하는 새로운 순환 구조인 전이 가능한 메모리 유닛(TMU)을 도입한다.
• 각 소스 모델의 정련된 메모리 상태가 타겟 네트워크에 미치는 影향을 동적으로 제어하기 위해 적응형 어텐션 게이트를 사용한다.
• 소스 모델을 과거 시퀀스에서 미래 프레임을 예측하도록 훈련시키는 전경태스크로 비지도 예측 학습을 활용한다.
• ConvLSTM, PredRNN, MIM, SAVP 등 다양한 RNN 아키텍처에 프레임워크를 적용하여 광범위한 호환성을 입증한다.
• 레이블이 필요 없고 파인튜닝이 불필요한 상태에서 소스 모델의 정련된 지식을 사용해 타겟 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 레이블이 없는 데이터에서 여러 비지도 사전 훈련된 시공간 모델로부터 새로운 예측 작업으로 지식을 효과적으로 전이할 수 있는가?
• RQ2 내용적 관련성이 다를 수 있는 다양한 소스 모델들로부터 전이 가능한 표현을 적응형으로 선택하고 통합할 수 있는 프레임워크는 어떻게 설계할 수 있는가?
• RQ3 예를 들어 합성 이동 숫자와 같은 내용적으로 관련이 적은 소스 도메인에서의 전이도 실제 시공간 예측 작업의 성능을 향상시키는가?
• RQ4 목표 작업에 충분한 레이블 데이터가 존재할 경우, 기존의 파인튜닝보다 제안된 방법이 성능을 뛰어넘을 수 있는가?
• RQ5 소스 데이터와 타겟 데이터 간의 도메인 이동과 분포 불일치 문제를 프레임워크는 어떻게 다루는가?

주요 결과

• 전이 가능한 메모리 프레임워크는 합성 이륙하는 숫자, 인간 운동 예측(KTH), 강우 강도 예측(베이징 레이더) 세 가지 벤치마크에서 뚜렷한 성능 향상을 달성했다.
• KTH 데이터셋에서 2자리 수 이동 MNIST 소스 모델로의 전이로 SSIM이 0.771(초기 학습)에서 0.808로 향상되어, 내용적으로 관련이 적은 소스에서도 강력한 전이 가능성임을 입증했다.
• KTH와 이동 MNIST를 모두 소스로 사용했을 때 베이징 레이더 데이터에서 CSI는 0.382로 상승했으며, 이는 기준선(0.348)을 초월했고, 소스의 시각적 관련성이 없음에도 불구하고 성능 향상을 이룬 것이다.
• TMU는 더 관련성이 높은 소스 도메인(예: 광저우 레이더 데이터)에 대해 더 높은 어텐션 가중치를 할당함으로써, 소스 기여도에 대한 적응형 게이팅 제어가 이루어짐을 확인했다.
• 레이블이 많은 목표 작업에서도 표준 파인튜닝을 능가하는 성능을 보였으며, 이는 정련된 지식가 도메인 특화 학습을 보완함을 시사한다.
• ConvLSTM, PredRNN, MIM, SAVP 등 다양한 RNN 아키텍처에서 프레임워크가 효과적으로 작동함을 확인하여 일반화 능력을 입증했다.