[논문 리뷰] Optimization-Free Test-Time Adaptation for Cross-Person Activity Recognition

Shuoyuan Wang, Jindong Wang외 4명|arXiv (Cornell University)|2023. 10. 28.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 최적화 없이 실시간으로 효율적으로 작동하는 엣지 디바이스에서 작동할 수 있도록 설계된 최적화 없는 테스트 타임 적응(OFTTA)을 제안한다. OUTFIT는 교차 개인 센서 기반 인간 활동 인식(HAR)에 적용되며, 모델 재학습이나 최적화 없이도 실시간으로 적응할 수 있다. OFTTA는 특징 추출을 안정화하기 위해 지수 감쇠 테스트 타임 정규화(EDTN)를 사용하고, 가짜 레이블을 통해 업데이트되는 프로토타입 기반 분류기를 활용하여, 세 가지 HAR 데이터셋과 실제 엣지 하드웨어에서 최신 기술 수준의 정확도와 계산 효율성을 달성한다.

ABSTRACT

Human Activity Recognition (HAR) models often suffer from performance degradation in real-world applications due to distribution shifts in activity patterns across individuals. Test-Time Adaptation (TTA) is an emerging learning paradigm that aims to utilize the test stream to adjust predictions in real-time inference, which has not been explored in HAR before. However, the high computational cost of optimization-based TTA algorithms makes it intractable to run on resource-constrained edge devices. In this paper, we propose an Optimization-Free Test-Time Adaptation (OFTTA) framework for sensor-based HAR. OFTTA adjusts the feature extractor and linear classifier simultaneously in an optimization-free manner. For the feature extractor, we propose Exponential DecayTest-time Normalization (EDTN) to replace the conventional batch normalization (CBN) layers. EDTN combines CBN and Test-time batch Normalization (TBN) to extract reliable features against domain shifts with TBN's influence decreasing exponentially in deeper layers. For the classifier, we adjust the prediction by computing the distance between the feature and the prototype, which is calculated by a maintained support set. In addition, the update of the support set is based on the pseudo label, which can benefit from reliable features extracted by EDTN. Extensive experiments on three public cross-person HAR datasets and two different TTA settings demonstrate that OFTTA outperforms the state-of-the-art TTA approaches in both classification performance and computational efficiency. Finally, we verify the superiority of our proposed OFTTA on edge devices, indicating possible deployment in real applications. Our code is available at https://github.com/Claydon-Wang/OFTTA.

연구 동기 및 목표

• 추론 중 개인 간 분포 이탈로 인한 성능 저하 문제를 해결한다.
• 자원 제약이 있는 엣지 디바이스에 배치가 어려운 최적화 기반 테스트 타임 적응(TTA) 방법의 높은 계산 비용을 해결한다.
• 모델 재학습이나 추론 중 최적화 없이도 높은 정확도를 유지하는 효율적이고 하드웨어 우수한 TTA 프레임워크를 개발한다.
• 시간과 메모리 오버헤드를 최소화하여 라즈베리 파이와 같은 엣지 디바이스에서 실시간 적응을 가능하게 한다.
• 가짜 레이블링과 함께 테스트 타임 정규화 및 프로토타입 기반 분류를 조합하여 예측 불가능한 도메인에 대한 강건성을 확보한다.

제안 방법

• 테스트 타임 배치 정규화(TBN)의 影향이 깊이 있는 네트워크 레이어를 거치며 지수적으로 감소하도록 하는 지수 감쇠 테스트 타임 정규화(EDTN)를 제안한다. 이는 기존 배치 정규화(CBN)와 TBN을 융합한다.
• 가짜 레이블을 통해 업데이트되는 프로토타입의 지원 세트를 사용하여 추론 중에 분류기를 동적으로 조정함으로써 최적화 단계를 피한다.
• 입력 특징과 지원 세트 내 가장 가까운 프로토타입 간의 거리를 기반으로 최종 예측을 계산하여, 빠르고 최적화가 필요 없는 추론을 가능하게 한다.
• 각 클래스의 특징에 대한 누적 평균을 유지하여 신뢰도 높은 프로토타입을 형성하고, 새로운 가짜 레이블 예측이 신뢰할 만할 경우에만 업데이트한다.
• EDTN과 프로토타입 기반 적응을 통합한 단일 프레임워크를 설계하여 최적화 없이 특징 추출기와 분류기를 동시에 적응시킨다.
• 백프로파게이션과 최적화 루프를 피함으로써 엣지 디바이스와의 호환성을 확보하고, 메모리 소비와 지연 시간을 줄인다.

실험 결과

연구 질문

• RQ1 최적화 없이도 추론 중 매개변수 업데이트 없이도 교차 개인 HAR에서 경쟁적인 성능을 달성할 수 있는가?
• RQ2 EDTN은 기존 배치 정규화와 테스트 타임 배치 정규화에 비해 개인 간 분포 이탈을 다룰 때 어떻게 성능을 높이는가?
• RQ3 가짜 레이블링을 사용한 지원 세트를 통한 분류기 적응이 모델 정확도와 효율성에 어떤 영향을 미치는가?
• RQ4 라즈베리 파이와 같은 실제 엣지 디바이스에서 OFTTA의 추론 지연 시간과 메모리 사용량은 어떻게 되는가?
• RQ5 OFTTA는 치명적인 기억 상실이나 높은 계산 비용 없이도 실제 HAR 응용에서 분포 이탈을 효과적으로 다룰 수 있는가?

주요 결과

• OFTTA는 세 가지 공개 교차 개인 HAR 데이터셋에서 최신 기술 수준의 최적화 기반 TTA 방법보다 분류 정확도와 계산 효율성 측면에서 뛰어난 성능을 보였다.
• ARM Cortex-A53을 탑재한 라즈베리 파이와 같은 엣지 디바이스에서 OFTTA는 최적화 기반 방법 대비 시간과 메모리 오버헤드가 거의 없었으며, 이는 심한 지연과 과열을 유발하는 원인이 되었다.
• 100회의 적응 단계 동안 CPU 온도 상승은 OFTTA에서는 수용 가능한 수준이었으나, 최적화 기반 방법은 빠른 과열과 더 긴 적응 시간을 초래했다.
• EDTN은 깊이 있는 레이어에서 테스트 타임 통계에 대한 의존도를 점진적으로 감소시켜 도메인 간 특징 표현을 안정화시키며, 분포 이탈에 대한 강건성을 향상시켰다.
• 가짜 레이블링을 통한 프로토타입 기반 분류기는 최적화 없이도 정확하고 빠른 추론을 가능하게 하여, 도메인 이탈 조건에서도 경쟁 가능한 성능을 달성했다.
• 이sov-아웃 평가에서 OFTTA가 예측 불가능한 주체에 대해서도 높은 정확도를 유지하여 실제 환경에서 강력한 일반화 능력과 적응 능력을 입증했다.