[논문 리뷰] Large Language Models are Zero-Shot Recognizers for Activities of Daily Living

Gabriele Civitarese, Michele Fiori외 2명|arXiv (Cornell University)|2024. 07. 01.

Context-Aware Activity Recognition Systems인용 수 6

한 줄 요약

이 논문은 스마트 홈 센서 데이터를 텍스트로 변환하고 제로샷(선택적으로 소수샷) 프롬프팅을 사용하여 라벨이 없는 상태에서 생활 활동(Activities of Daily Living, ADL)을 인식하는 LLM 기반 시스템인 ADL-LLM을 제안하며, MARBLE 및 UCI ADL 데이터셋에서 평가한다.

ABSTRACT

The sensor-based recognition of Activities of Daily Living (ADLs) in smart home environments enables several applications in the areas of energy management, safety, well-being, and healthcare. ADLs recognition is typically based on deep learning methods requiring large datasets to be trained. Recently, several studies proved that Large Language Models (LLMs) effectively capture common-sense knowledge about human activities. However, the effectiveness of LLMs for ADLs recognition in smart home environments still deserves to be investigated. In this work, we propose ADL-LLM, a novel LLM-based ADLs recognition system. ADLLLM transforms raw sensor data into textual representations, that are processed by an LLM to perform zero-shot ADLs recognition. Moreover, in the scenario where a small labeled dataset is available, ADL-LLM can also be empowered with few-shot prompting. We evaluated ADL-LLM on two public datasets, showing its effectiveness in this domain.

연구 동기 및 목표

• 스마트 홈의 건강 및 웰빙 응용을 돕기 위한 센서 기반 ADL 인식을 제안한다.
• Sensor 데이터를 텍스트 서사로 변환하고 LLM 프롬프팅을 사용하여 제로샷 인식을 수행하는 ADL-LLM을 제안한다.
• 제로샷 ADL-LLM이 데이터가 부족한 상황에서도 감독 학습 방식에 비해 일치하거나 우수한 성능을 낼 수 있음을 보여준다.
• 소수샷 프롬 prompting을 통해 소량의 라벨 데이터가 있을 때 성능이 향상됨을 보여준다.
• 재현 가능한 결과를 보장하기 위해 소스 코드를 제공한다.

제안 방법

• 원시 센서 스트림을 센서 상태의 시퀀스로 변환한다.
• 겹침이 있는 고정 시간 창으로 센서 상태를 분할한다.
• Window2Text를 통해 각 창을 자연어 설명으로 변환한다.
• 시스템 프롬프트와 창별 사용자 프롬프트를 사용해 LLM에 질의를 보내 활동 예측을 얻는다.
• 정규 표현식과 코사인 유사도 대체 라벨을 사용해 LLM 출력에서 활동 라벨을 추출한다.
• 선택적으로 예시 풀(pool of examples)과 의미 기반 예시 선택을 통한 소수샷 프롬프팅으로 프롬프트를 강화한다.
• 코사인 유사도 기반 임베딩으로 소수샷 프롬프팅에 적합한 예시를 선택한다.

Figure 1 . Overall architecture of ADL-LLM. When the pool of examples is empty ADL-LLM, acts as a zero-shot ADLs recognition method. Otherwise, it is a few-shot approach.

실험 결과

연구 질문

• RQ1 라벨 학습 데이터 없이도 LLM이 센서 데이터를 텍스트로 표현한 것을 바탕으로 ADL을 인식할 수 있는가?
• RQ2 의미적으로 유사한 예시를 사용하는 소수샷 프롬프팅이 소량의 라벨 데이터가 있을 때 ADL 인식을 향상시키는가?
• RQ3 제로샷 ADL-LLM이 공개 스마트 홈 ADL 데이터셋에서 감독 학습 기준선과 비교해 어떤 성능을 보이는가?
• RQ4 다른 센서 모달리티와 가정 배치가 제로샷 기반 LLM 인식에 어떤 영향을 미치는가?

주요 결과

• ADL-LLM은 공개 ADL 데이터셋에서 제로샷 모드로 감독 학습 기준선과 비교해 경쟁력 있는 인식률을 달성한다.
• 의미적으로 선택된 예시를 사용한 소수샷 프롬프팅은 데이터가 부족한 상황에서 성능을 더욱 향상시킨다.
• 시스템은 센서 스트림을 자연어 설명으로 변환한 뒤 LLM 추론을 수행하는 모듈식 파이프라인에 의존한다.
• 시스템 프롬프트에 방 위치와 가능한 상호 작용을 포함시켜 LLM 추론을 안내한다.
• 정규 표현식 추출과 코사인 유사도 대체를 통해 LLM 출력이 기대 라벨에서 벗어나더라도 robust한 활동 라벨링을 보장한다.

Figure 2 . An example of Window2Text in action on the UCI ADL dataset