[논문 리뷰] Continual Learning in Human Activity Recognition: an Empirical Analysis of Regularization

Saurav Jha, Martin Schiemer외 1명|arXiv (Cornell University)|2020. 07. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 15인용 수 11

한 줄 요약

이 논문은 센서 기반 인간 활동 인식(HAR) 데이터셋에서 정규화 기반 지속적 학습 방법—LwF, EWC, MAS, LUCIR, ILOS—을 평가하며, 대부분의 정규화 항목이 메모리 리플레이와 함께 사용될 경우 유의미한 이점이 없거나 성능을 악화시킬 수 있음을 발견한다. 주요 기여는 메모리 리플레이가 성능을 지배함으로써, 데이터셋 불균형, 클래스 간 유사성, 자원 제약 등으로 인해 HAR에서는 정규화가 효과를 발휘하지 못함을 입증한 것이다.

ABSTRACT

Given the growing trend of continual learning techniques for deep neural networks focusing on the domain of computer vision, there is a need to identify which of these generalizes well to other tasks such as human activity recognition (HAR). As recent methods have mostly been composed of loss regularization terms and memory replay, we provide a constituent-wise analysis of some prominent task-incremental learning techniques employing these on HAR datasets. We find that most regularization approaches lack substantial effect and provide an intuition of when they fail. Thus, we make the case that the development of continual learning algorithms should be motivated by rather diverse task domains.

연구 동기 및 목표

• 인간 활동 인식(HAR) 분야에서 정규화 기반 지속적 학습 기법의 효과성을 평가하는 것—컴퓨터 비전과는 다름.
• 클래스 불균형과 센서 데이터의 다양성 등 고유한 과제를 고려할 때, 이미지 분류에 대해 개발된 정규화 방법이 HAR로 일반화되는지 조사하는 것.
• 제한된 컴퓨팅 자원 환경에서 HAR 시나리오에서 정규화와 메모리 리플레이의 상호작용을 평가하는 것.
• 특히 메모리 리플레이와 함께 사용될 경우 정규화 기법의 실패 모드를 규명하는 것.
• 컴퓨터 비전을 넘어서 다양한 실제 도메인, 예를 들어 HAR와 같은 분야로의 지속적 학습 연구 확대를 주장하는 것.

제안 방법

• 연구는 다섯 가지 정규화 기법을 평가한다: LwF(지식 정착), EWC(피셔 정보를 통한 파라미터 중요도), RWC(회전된 EWC), MAS(기울기 기반 파라미터 중요도), LUCIR(마진 순서 정렬 및 정착 손실), ILOS(교차 정착 손실).
• 실험은 두 가지 공개 HAR 데이터셋—WS(주변 센서, 9개 불균형 활동)와 DSADS(가속도계 기반, 19개 균형 잡힌 활동)—에서 수행된다.
• 각 방법의 성능은 메모리 리플레이(MemR) 유무에 따라 평가되며, F1 마이크로/마크로 스코어, 각 클래스 유형별(기본, 이전, 새로운) 정확도, 그리고 기록된 성능 감소 스코어(F)를 사용한다.
• 성능 기준으로는 하한선(교차 엔트로피 손실만)과 상한선(모든 작업을 동시에 학습한 오프라인 학습)을 사용한다.
• 메모리 리플레이의 할당 크기(S ∈ {2,4,6,8,10,15})를 다양하게 설정하여 메모리 용량이 성능에 미치는 영향을 평가한다.
• 분석은 유연성-안정성 트레이드오프, 마이크로 F1과 마크로 F1 스코어 간의 괴리, 그리고 클래스 불균형이 정규화 효율성에 미치는 영향에 집중한다.

실험 결과

연구 질문

• RQ1 컴퓨터 비전에서 개발된 정규화 기반 지속적 학습 기법이 인간 활동 인식(HAR) 데이터셋으로 효과적으로 일반화되는가?
• RQ2 메모리 리플레이가 포함될 경우 HAR에서 정규화 항목의 성능 및 상대적 기여도는 어떻게 변화하는가?
• RQ3 ILOS와 LUCIR와 같은 일부 정규화 기법은 이전 클래스에서는 강력한 성능을 보이지만 새로운 클래스에서는 왜 성능이 떨어지는가?
• RQ4 HAR에서의 데이터셋 불균형과 클래스 간 유사성이 정규화의 효과를 얼마나 약화시키는가?
• RQ5 정규화 기법의 성능는 데이터셋 특성보다는 가용 메모리 용량에 더 의존하는가?

주요 결과

• 메모리 리플레이와 함께 사용될 경우 대부분의 정규화 기법—특히 ILOS와 LUCIR—은 순수한 교차 엔트로피 손실보다 성능 향상이 거의 없거나, 경우에 따라 성능이 열 劣화된다.
• 메모리 리플레이는 항상 정규화를 능가하며, 작은 리플레이 크기(S=2)라도 상당한 성능 향상을 보여, 리플레이가 정규화 효과를 완전히 압도함을 시사한다.
• ILOS는 메모리 리플레이와 함께 사용될 경우 모든 방법 중 가장 높은 기록된 성능 감소 스코어를 보이며, 제약이 심한 손실 설계가 새로운 작업 학습에 악영향을 미침을 시사한다.
• LUCIR-MR와 LUCIR-DIS+MR는 더 낮은 기록된 성능 감소 스코어와 더 나은 이전 클래스 유지 능력을 보이며, 마진 순서 정렬이 새로운 클래스에 대한 민감도를 희생하면서까지 기존 클래스의 기억 유지에 기여함을 시사한다.
• 정규화 기법에서 F1 마이크로와 마크로 스코어 간 괴리가 가장 두드러지며, 이는 정규화가 클래스 간 성능 균형을 도모하는 데 기여함을 시사하지만, 메모리 리플레이와 함께 사용될 경우 이 기여도가 감소함을 의미한다.
• 정규화 기법의 성능는 메모리 용량보다 데이터셋 특성—특히 클래스 불균형—에 더 의존하며, WS(불균형)와 DSADS(균형 잡힘)에서의 일관성 없는 행동을 통해 이를 확인할 수 있다.