[논문 리뷰] Unsupervised Human Activity Recognition through Two-stage Prompting with ChatGPT

Qingxin Xia, Takuya Maekawa외 1명|arXiv (Cornell University)|2023. 06. 03.

Context-Aware Activity Recognition Systems인용 수 4

한 줄 요약

이 논문은 대화형 GPT(ChatGPT)를 사용하여 객체 사용 순서를 기반으로 비지도 학습 Human Activity Recognition(HAR)를 가능하게 하기 위해 이단계 프롬프트 엔지니어링 방법을 제안한다. 먼저 활동을 구분하는 데 초점을 맞춘 객체를 강조하는 활동 기술을 생성한 다음, 지식 기반 프롬프트를 통해 예측을 보완함으로써, 이 방법은 Opportunity에서 F1 점수 91.15%, 50Salads와 CMU-MMAC에서 각각 100%의 최신 기술 수준 성능을 달성하여, 제로샷, 검색 기반, 소수 샘플 기반 베이스라인을 모두 능가한다.

ABSTRACT

Wearable sensor devices, which offer the advantage of recording daily objects used by a person while performing an activity, enable the feasibility of unsupervised Human Activity Recognition (HAR). Unfortunately, previous unsupervised approaches using the usage sequence of objects usually require a proper description of activities manually prepared by humans. Instead, we leverage the knowledge embedded in a Large Language Model (LLM) of ChatGPT. Because the sequence of objects robustly characterizes the activity identity, it is possible that ChatGPT already learned the association between activities and objects from existing contexts. However, previous prompt engineering for ChatGPT exhibits limited generalization ability when dealing with a list of words (i.e., sequence of objects) due to the similar weighting assigned to each word in the list. In this study, we propose a two-stage prompt engineering, which first guides ChatGPT to generate activity descriptions associated with objects while emphasizing important objects for distinguishing similar activities; then outputs activity classes and explanations for enhancing the contexts that are helpful for HAR. To the best of our knowledge, this is the first study that utilizes ChatGPT to recognize activities using objects in an unsupervised manner. We conducted our approach on three datasets and demonstrated the state-of-the-art performance.

연구 동기 및 목표

• 비용이 많이 드는 인간 주석이 없는 비지도 학습 Human Activity Recognition(HAR)를 가능하게 하기 위해.
• 기존의 프롬프트 엔지니어링 기법이 객체 순서에서 동일한 단어 가중치를 사용함으로써 유사한 활동을 구분하는 데 한계를 가지는 문제를 해결하기 위해.
• ChatGPT에 내장된 사전 학습된 지식을 활용하여 객체 사용 기반의 자동이고 맥락 인식 가능한 활동 기술 생성을 위해.
• 구조적 프롬프트를 통해 ChatGPT가 구분 가능한 객체에 집중하도록 유도하여 HAR 성능을 향상시키기 위해.
• 이중 단계 프롬프트가 비지도 환경에서 HAR에 대해 강건하고 일반화 가능한 지식을 생성하는 데 효과적인지 입증하기 위해.

제안 방법

• 첫 번째 단계는 유사한 두 활동과 그에 해당하는 객체 순서를 제시하는 지식 생성 프롬프트를 사용하여, ChatGPT가 핵심적인 차별화 요소가 되는 객체를 강조하는 기술적 차이점을 생성하도록 유도한다.
• 두 번째 단계는 지식 프롬프트 엔지니어링을 활용하여 최종 활동 예측을 생성하며, 생성된 기술을 맥락으로 포함하고 예측 근거를 설명하도록 요구한다.
• 모델로는 GPT-3.5 text-Davinci-003를 사용하며, 결정론적 출력을 위해 temperature=0 및 top_p=0.5를 설정한다.
• 시간 간격으로 분할된 객체 순서를 입력으로 사용하며, 제로샷, 소수 샘플, 또는 검색 기반 베이스라인의 경우 활동 클래스를 프롬프트에 포함한다.
• 작업에 특화된 지식을 프롬프트 구조에 직접 통합함으로써 맥락의 관련성을 향상시키기 위한 설계가 이루어졌다.
• 이중 단계 프로세스는 ChatGPT가 분류에 유의미한 특징에 집중하도록 보장하여 다양한 데이터셋 간의 일반화 능력을 향상시킨다.

Figure 1. The overview of the Proposed approach. The pink background rectangles show the input of the model, the orange rectangles show the procedures done by ChatGPT, and the green rectangles show the output results of each prompt for ChatGPT processing.

실험 결과

연구 질문

• RQ1 대화형 언어 모델인 ChatGPT가 오직 객체 사용 순서만을 사용하여 비지도 학습 HAR에 효과적으로 활용될 수 있는가?
• RQ2 유사한 활동 간의 중복된 객체 사용을 고려할 때, 프롬프트 엔지니어링을 어떻게 설계하여 모델의 구분 능력을 향상시킬 수 있는가?
• RQ3 중간 단계 지식 생성과 보완된 예측을 포함하는 이중 단계 프롬프트가 표준 프롬프트 기법보다 더 높은 HAR 성능을 낼 수 있는가?
• RQ4 인간 주석이 없는 활동 기술을 자동으로 생성할 수 있는가?
• RQ5 제안된 방법은 다양한 수준의 객체 중복을 가진 다양한 HAR 데이터셋 간에 어떻게 일반화되는가?

주요 결과

• 제안된 이단계 프롬프트 방법은 Opportunity 데이터셋에서 F1 점수 91.15%를 달성하여 제로샷 베이스라인(53.61%)과 검색 기반 방법(48.19%)을 크게 능가했다.
• 50Salads 데이터셋에서는 제안된 방법이 완벽한 F1 점수 100.00%를 기록하여 소수 샘플 베이스라인(90.61%)과 검색 기반 방법(93.87%)을 모두 초월했다.
• CMU-MMAC 데이터셋에서는 제안된 방법이 100.00%의 F1 점수를 기록하여 모든 베이스라인을 능가했으며, 소수 샘플 방법(100.00%)과 검색 기반 방법(71.05%)을 포함해 모두 우월했다.
• Opportunity 데이터셋의 혼동 행렬은 높은 객체 중복에도 불구하고 청소 활동을 다른 활동과 효과적으로 구분했다는 것을 보여주었으며, 이는 구분 가능한 특징에 대한 효과적인 집중을 의미한다.
• 이 방법은 다양한 수준의 객체 중복을 가진 데이터셋 간에서도 강건하게 작동하여, 비지도 HAR에서 강력한 일반화 능력을 보였다.
• 결과는 이중 단계 프롬프트를 통한 자동으로 생성된 지식이 특히 복잡한 실생활 상황에서 수동으로 준비한 소수 샘플 예제나 검색된 지식보다 더 효과적이고 일관된 성능을 보임을 시사한다.

Figure 2. The confusion matrix of comparative prompting methods and the proposed method of Opportunity dataset.