[논문 리뷰] Lifelong Machine Learning with Deep Streaming Linear Discriminant Analysis

Tyler L. Hayes, Christopher Kanan|arXiv (Cornell University)|2019. 09. 04.

Data Stream Mining Techniques참고 문헌 53인용 수 13

한 줄 요약

이 논문은 치명적 잊힘을 완화하기 위해 CNN의 출력층만 스트리밍 SLDA를 사용해 지속적으로 학습하는 경량의 인크리멘탈 학습 방법인 딥 스트리밍 선형 판별 분석(Deep SLDA)을 제안한다. ImageNet과 CORe50에서 최신 기술 수준의 성능을 달성하며, 전체 네트워크 인크리멘탈 배치 학습 방법조차도 능가하지만, 100배 이상 빠르고 메모리 사용량은 1,000배 이상 줄였다.

ABSTRACT

When an agent acquires new information, ideally it would immediately be capable of using that information to understand its environment. This is not possible using conventional deep neural networks, which suffer from catastrophic forgetting when they are incrementally updated, with new knowledge overwriting established representations. A variety of approaches have been developed that attempt to mitigate catastrophic forgetting in the incremental batch learning scenario, where a model learns from a series of large collections of labeled samples. However, in this setting, inference is only possible after a batch has been accumulated, which prohibits many applications. An alternative paradigm is online learning in a single pass through the training dataset on a resource constrained budget, which is known as streaming learning. Streaming learning has been much less studied in the deep learning community. In streaming learning, an agent learns instances one-by-one and can be tested at any time, rather than only after learning a large batch. Here, we revisit streaming linear discriminant analysis, which has been widely used in the data mining research community. By combining streaming linear discriminant analysis with deep learning, we are able to outperform both incremental batch learning and streaming learning algorithms on both ImageNet ILSVRC-2012 and CORe50, a dataset that involves learning to classify from temporally ordered samples.

연구 동기 및 목표

• 엄격한 자원 제약 조건과 실시간 데이터 스트림 환경에서 딥 러닝의 치명적 잊힘 문제를 해결한다.
• 각 샘플 이후 즉각적인 추론을 가능하게 하기 위해 인크리멘탈 배치 학습에서 스트리밍 학습으로 전환한다.
• 제한된 메모리와 컴퓨팅 자원을 가진 임베디드 시스템에서의 현장 적용이 가능한 가벼운, 구현 가능한 솔루션을 개발한다.
• 스트리밍 LDA를 통해 출력층만 미세조정하는 것이 전체 네트워크 인크리멘탈 학습의 정확도와 강건성에 맞추거나 능가할 수 있음을 입증한다.

제안 방법

• 사전 훈련된 CNN과 스트리밍 선형 판별 분석(SLDA)을 결합하여 최종 분류 레이어만 점진적으로 학습한다.
• SLDA의 온라인 업데이트 규칙을 사용하여 클래스 평균과 내부 클래스 산란 행렬을 메모리 효율적인 방식으로 재귀적으로 유지한다.
• ImageNet 또는 CORe50의 기본 클래스를 사용해 모델을 초기화함으로써, 전체 재학습 단계 없이 도메인 전이를 가능하게 한다.
• CNN 기반 모델의 오프라인 사전 훈련 동안 표준 데이터 증강(랜덤 크롭, 플립)을 적용한다.
• 스트리밍 중에 적응하는 유연한 공분산 행렬을 사용하여 비i.i.d. 데이터 순서에서의 일반화 성능을 향상시킨다.
• 과거 데이터를 저장하거나 생성 모델을 사용하지 않고, SLDA에서 유도된 통계 요약 자료에만 의존함으로써 메모리 및 계산 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 딥 특징에 적용된 스트리밍 LDA가 정확도와 효율성 면에서 전체 네트워크 인크리멘탈 학습보다 뛰어나게 성능을 내는가?
• RQ2 기본 기준 모델과 비교했을 때, Deep SLDA는 비i.i.d. 데이터 순서(예: 클래스 순서 또는 인스턴스 순서)에 대해 얼마나 강건한가?
• RQ3 CORe50에 대해 사전 기본 초기화 없이 ImageNet 특징에 기반해 SLDA를 초기화하면 도메인 전이 정도는 어느 정도 달성될 수 있는가?
• RQ4 SLDA를 통해 출력층만 학습하는 것이 히든 레이어까지 업데이트하는 방법보다 충분한 성능을 제공하는가?
• RQ5 최소한의 메모리 및 계산 오버헤드로 종신 학습 환경에서 SLDA를 효과적으로 사용할 수 있는가?

주요 결과

• Deep SLDA는 테스트된 모든 방법 중에서 ImageNet ILSVRC-2012에서 가장 높은 최종 top-5 정확도를 달성했으며, 스트리밍 및 인크리멘탈 배치 학습 기준 모델을 모두 능가했다.
• CORe50에서 Deep SLDA는 iCaRL보다 Ω_all 기준 11% 높은 성능을 보였으며, 출력층만 업데이트하고도 메모리 사용량은 1,000배 줄였다.
• iCaRL 및 엔드 투 엔드 훈련 방법보다 100배 이상 빠르게 실행되어 각 샘플 이후 실시간 추론을 가능하게 했다.
• 공분산 행렬을 1로 초기화할 경우 클래스 순서 데이터에서 가장 우수한 성능를 보였으며, 이는 기본 클래스에 대한 과적합이 감소했음을 시사한다.
• SLDA는 강력한 도메인 전이 성능를 보였다: ImageNet에서 초기화된 모델는 CORe50에서 미세조정했을 때 성능가 1.0–5.6% 이내로 유지되었다. 이는 CORe50에서의 사전 기본 초기화 없이도 가능했다.
• 비i.i.d. 데이터 스트림에 대해 강건했으며, 어려운 클래스 순서 및 인스턴스 순서 스트림을 포함한 모든 데이터 순서에서 고성능를 유지했다.