[논문 리뷰] Online Feature Selection for Activity Recognition using Reinforcement Learning with Multiple Feedback

Taku Yamagata, Raúl Santos‐Rodríguez외 2명|arXiv (Cornell University)|2019. 08. 16.

Context-Aware Activity Recognition Systems참고 문헌 8인용 수 7

한 줄 요약

이 논문은 스마트 홈 센서의 다중 피드백 소스를 활용하여 전력 소비와 정확도 사이의 동적 균형을 이루는 강화학습(RL) 기반 온라인 특징 선택 방법을 제안한다. 이 방법은 온라인 피드백 일관성 추정을 통해 학습을 가속화하며, SPHERE 데이터셋에서 기준 대비 뛰어난 트레이드오프 성능을 달성하여 전력 소비를 줄이면서도 낮은 오류율을 유지한다.

ABSTRACT

Recent advances in both machine learning and Internet-of-Things have attracted attention to automatic Activity Recognition, where users wear a device with sensors and their outputs are mapped to a predefined set of activities. However, few studies have considered the balance between wearable power consumption and activity recognition accuracy. This is particularly important when part of the computational load happens on the wearable device. In this paper, we present a new methodology to perform feature selection on the device based on Reinforcement Learning (RL) to find the optimum balance between power consumption and accuracy. To accelerate the learning speed, we extend the RL algorithm to address multiple sources of feedback, and use them to tailor the policy in conjunction with estimating the feedback accuracy. We evaluated our system on the SPHERE challenge dataset, a publicly available research dataset. The results show that our proposed method achieves a good trade-off between wearable power consumption and activity recognition accuracy.

연구 동기 및 목표

• 웨어러블 기반 활동 인식에서 에너지-정확도 트레이드오프를 해결하기 위해 장치 내에서 맥락 인식 기반 특징 선택을 가능하게 한다.
• 저자원 웨어러블 환경에서 표준 RL의 느린 학습 속도를 극복하기 위해 고수준 센서의 피드백을 통합한다.
• 고정된 피드백 품질을 가정하는 대신 실시간으로 다중 피드백 소스의 신뢰성 추정을 통해 정책 학습을 향상시킨다.
• 보완적 센서에서 온라인으로 얻은 맥락 신호에 기반해 특징 집합을 동적으로 적응시킬 수 있도록 한다.
• 정적 또는 무작위 특징 선택 전략보다 에너지 효율성과 분류 정확도 사이의 균형을 더 잘 달성한다.

제안 방법

• 에이전트가 웨어러블 기기에서 저전력 및 고전력 특징 집합 간에 선택을 수행하는 마르코프 결정 과정(MDP)으로 온라인 특징 선택을 수립한다.
• 보조 센서(예: PIR, RGB-D)의 다중 피드백 소스를 지원하도록 Advise 알고리즘을 확장하여 정책 학습 속도를 가속화한다.
• 에이전트의 예측과 피드백 간의 일치도를 기반으로 가중치 업데이트 메커니즘을 사용해 각 피드백 소스의 일관성(신뢰성)을 실시간으로 추정한다.
• 지연된 보상 형상화를 사용하는 Q-러닝 기반 RL 프레임워크를 활용하며, 호스트 프로세서의 피드백이 에이전트의 최적 특징 선택 정책으로 유도한다.
• 호스트의 분류 결과가 에이전트의 예측과 일치하고, 전력 제약 조건을 충족할 경우에만 피드백을 통합한다.
• 각 센서 모odalities별로 피드백 일관성 수준의 누적 추정치를 유지하여, 에이전트가 더 신뢰할 만한 소스를 적응적으로 신뢰할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 고수준 센서의 다중 피드백 소스가 저전력 웨어러블 환경에서 RL 기반 특징 선택 에이전트의 학습 속도와 정책 품질을 향상시킬 수 있는가?
• RQ2 실시간 피드백 일관성 추정이 동적인 실세계 환경에서 RL 에이전트의 강건성과 수렴성에 어떤 영향을 미치는가?
• RQ3 제안된 방법이 정적 또는 무작위 특징 선택 전략보다 전력 소비와 분류 정확도 사이의 균형을 얼마나 더 잘 달성할 수 있는가?
• RQ4 다양하고 잠재적으로 신뢰할 수 없는 다중 피드백 소스에서 학습할 수 있는 에이전트의 능력이 단일 피드백 또는 피드백 없음 기반 대비 더 안정적이고 정확한 정책 학습을 이끌어낼 수 있는가?

주요 결과

• 온라인 일관성 추정을 통한 Multi-Trainers 방법이 전력 소비와 오류율 사이에서 가장 우수한 균형을 달성하여 모든 기준 대비 뛰어난 성능을 보였다.
• Multi-Trainers 방법의 학습 곡선은 Q-러닝보다 더 빠른 수렴 속도와 더 높은 점근적 보상을 보였으며, Q-러닝은 유사한 성능 수준에 도달하기 위해 15,000회 이상의 에피소드가 필요했다.
• 무작위 기준은 고정된 저전력 기준보다 낮은 오류율(약 0.19)을 달성했지만, 전력 소비는 두 배 이상 높아 무작위 선택의 비효율성을 입증했다.
• 고정된 저전력 기준은 가장 낮은 전력 소비를 유지했지만 가장 높은 오류율(약 0.81)을 보여, 에너지 절감에도 불구하고 정확도가 떨어지는 것으로 나타났다.
• Q-러닝은 제안된 방법보다 전력 소비를 낮췄지만 오류율이 증가하여 이중 목표를 효과적으로 최적화하지 못했다.
• 일관성 수준 추정 메커니즘이 실제로 RGB-D 센서가 PIR 센서보다 더 높은 신뢰성 수준을 보이며 더 높은 일관성 수준을 기록함을 확인하여, 실시간 추정의 필요성을 검증했다.