[論文レビュー] Large Language Models are Zero-Shot Recognizers for Activities of Daily Living

Gabriele Civitarese, Michele Fiori+2 more|arXiv (Cornell University)|Jul 1, 2024

Context-Aware Activity Recognition Systems被引用数 6

ひとこと要約

本論文は ADL-LLM を提案する。LLM ベースのシステムで、スマートホームのセンサーデータをテキストへ変換し、ラベル付きデータなしで Activities of Daily Living を認識するために zero-shot（必要に応じて few-shot も使用） prompting を用いる。評価は MARBLE および UCI ADL データセットで行われた。

ABSTRACT

The sensor-based recognition of Activities of Daily Living (ADLs) in smart home environments enables several applications in the areas of energy management, safety, well-being, and healthcare. ADLs recognition is typically based on deep learning methods requiring large datasets to be trained. Recently, several studies proved that Large Language Models (LLMs) effectively capture common-sense knowledge about human activities. However, the effectiveness of LLMs for ADLs recognition in smart home environments still deserves to be investigated. In this work, we propose ADL-LLM, a novel LLM-based ADLs recognition system. ADLLLM transforms raw sensor data into textual representations, that are processed by an LLM to perform zero-shot ADLs recognition. Moreover, in the scenario where a small labeled dataset is available, ADL-LLM can also be empowered with few-shot prompting. We evaluated ADL-LLM on two public datasets, showing its effectiveness in this domain.

研究の動機と目的

• スマートホームにおける健康と幸福のアプリケーションを支援するための、センサーベースの ADL 認識の動機付け。
• センサデータをテキストの物語へ変換し、LLM prompting を用いて zero-shot 認識を行う ADL-LLM の提案。
• データが乏しい状況で、zero-shot ADL-LLM が supervised アプローチと同等または上回ることを示す。
• 少数のラベル付きデータが利用可能な場合、 few-shot prompting が性能を向上させることを示す。
• 再現性を確保するためのソースコードを提供。

提案手法

• 生のセンサストリームをセンサ状態のシーケンスへ変換。
• 重複をもつ固定時間ウィンドウにセンサ状態をセグメント化。
• 各ウィンドウを Window2Text で自然言語説明へ変換。
• システムプロンプトとウィンドウ特有のユーザープロンプトで LLM に問い合わせ、活動予測を得る。
• 正規表現とコサイン類似度を用いて LLM 出力からアクティビティラベルを抽出。フォールバックラベルにはコサイン類似度。
• few-shot prompting のために例のプールと意味ベースの例選択でプロンプトを任意に強化。
• few-shot prompting のためにコサイン類似度ベースの埋め込みで関連例を選択。

Figure 1 . Overall architecture of ADL-LLM. When the pool of examples is empty ADL-LLM, acts as a zero-shot ADLs recognition method. Otherwise, it is a few-shot approach.

実験結果

リサーチクエスチョン

• RQ1 ラベル付き学習データなしで、LLM はセンサデータのテキスト表現から ADL を認識できるか。
• RQ2 少量のラベル付きデータが利用可能な場合、意味的に類似した例を用いた few-shot prompting は ADL 認識を改善するか。
• RQ3 公開のスマートホーム ADL データセットにおいて zero-shot ADL-LLM は supervised ベースラインとどのように比較されるか。
• RQ4 さまざまなセンサーモダリティと家庭レイアウトが zero-shot LLM ベースの認識に与える影響は何か。

主な発見

• ADL-LLM は zero-shot モードで supervised ベースラインと比較可能な認識率を公開データセットで達成。
• 意味的に選択された例を用いた few-shot prompting はデータ不足の状況でさらに性能を向上。
• システムはセンサーストリームを自然言語説明へ変換するモジュラーなパイプラインに依存。
• システムプロンプトは部屋の位置と可能な相互作用を組み込み、LLM の推論を誘導。
• 正規表現抽出とコサイン類似度のフォールバックにより、LLM 出力が期待値と異なる場合でも robust なアクティビティラベリングを保証。

Figure 2 . An example of Window2Text in action on the UCI ADL dataset