[논문 리뷰] Penetrative AI: Making LLMs Comprehend the Physical World

Huatao Xu, Liying Han외 3명|arXiv (Cornell University)|2023. 10. 14.

Artificial Intelligence in Law인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)이 사전 훈련된 세계 지식을 활용해 IoT 센서 데이터—텍스트화된 신호와 디지털 신호—를 처리함으로써 물리 세계를 인지하고 추론할 수 있도록 하는 새로운 프레임워크인 '퍼네트레이티브 AI(Penetrative AI)'를 소개한다. 결과적으로, ChatGPT-4와 같은 LLMs가 센서 데이터에서 인간의 활동과 심박수를 정확하게 추론할 수 있음을 보여주며, 태스크 특화 미세튜닝 없이도 LLMs를 사이버-물리 시스템에 통합할 수 있는 강력한 잠재력을 입증한다.

ABSTRACT

Recent developments in Large Language Models (LLMs) have demonstrated their remarkable capabilities across a range of tasks. Questions, however, persist about the nature of LLMs and their potential to integrate common-sense human knowledge when performing tasks involving information about the real physical world. This paper delves into these questions by exploring how LLMs can be extended to interact with and reason about the physical world through IoT sensors and actuators, a concept that we term "Penetrative AI". The paper explores such an extension at two levels of LLMs' ability to penetrate into the physical world via the processing of sensory signals. Our preliminary findings indicate that LLMs, with ChatGPT being the representative example in our exploration, have considerable and unique proficiency in employing the embedded world knowledge for interpreting IoT sensor data and reasoning over them about tasks in the physical realm. Not only this opens up new applications for LLMs beyond traditional text-based tasks, but also enables new ways of incorporating human knowledge in cyber-physical systems.

연구 동기 및 목표

• LLMs가 사전 훈련된 세계 지식을 활용해 실세계 센서 데이터를 해석할 수 있는지 조사하는 것 — 텍스트 기반 작업을 넘어서 능력을 확장하는 것.
• LLMs가 IoT 센서와 액추에이터를 통해 물리 세계와 상호작용할 수 있는 방식을 탐색함으로써 사이버-물리 시스템(CPS)에서 인식 및 간섭 기능을 가능하게 하는 것.
• 텍스트화된 센서 상태와 원시 디지털 신호라는 두 가지 다른 신호 처리 수준에서 LLM의 성능을 평가하는 것.
• LLMs가 광범위한 미세튜닝이나 태스크 특화 모델 없이도 의미 있는 물리 세계 이해를 달성할 수 있음을 입증하는 것.

제안 방법

• 가속도계, 심 electrocardiogram(심전도), WiFi, 위성 등의 원시 IoT 센서 데이터를 단계 탐지 및 필터링과 같은 도메인 특화 신호 처리 기법을 사용해 텍스트화된 상태로 전처리한다.
• 고정된, 태스크 중심의 프롬프트를 통해 ChatGPT-4와 같은 LLMs에 텍스트화된 센서 상태를 입력하여 사용자 활동 또는 신체 상태를 추론한다.
• 원시 디지털 센서 신호(예: 심전도 파형)를 수치 시퀀스로 직접 처리하고, LLM에 패턴 분석 및 심박수와 같은 신체 지표 유도를 요청한다.
• 정형 지침과 함께 프롬프트 엔지니어링을 수행하며, 일부 경우에 퍼지 논리나 외부 도구(예: 코드 인터프리터)를 통합하여 추론 정확도를 향상시킨다.
• LLM이 사전에 구축된 세계 지식을 활용해 센서 패턴을 실제 사건(예: 걷기, 달리기, 심장 리듬)의 대체 지표로 해석한다.
• LLM 처리 이전에 기능 추출을 향상시키기 위해 전문 모델(예: LIMU-BERT)과 통합하여 신호 이해도를 높인다.

실험 결과

연구 질문

• RQ1 ChatGPT-4와 같은 LLMs는 태스크 특화 훈련 없이도 텍스트화된 IoT 센서 데이터(예: 단계 수, 신호 요약)를 해석하여 인간 활동과 환경 조건을 추론할 수 있는가?
• RQ2 LLMs는 원시 디지털 센서 신호(예: 심전도 파형)를 얼마나 잘 추론하여 심박수와 같은 신체 지표를 추출할 수 있는가?
• RQ3 LLM의 내장된 세계 지식이 센서 데이터와 결합될 때 물리적 현상에 대한 정확한 인식을 어떻게 가능하게 하는가?
• RQ4 LLMs가 센서 신호를 처리할 때의 한계는 무엇이며, 프롬프트 설계와 외부 도구는 이를 어떻게 완화할 수 있는가?
• RQ5 퍼네트레이티브 AI는 LLMs가 실제 세계에서 인지하고 행동할 수 있도록 함으로써 AGI-인-더-루프 사이버-물리 시스템의 기초가 될 수 있는가?

주요 결과

• ChatGPT-4와 같은 LLMs는 태스크 특화 훈련 없이도 스마트폰 센서 데이터의 텍스트화된 상태에서 사용자 활동(예: 걷기, 달리기)을 높은 정확도로 추론할 수 있었으며, 이는 세계 지식에 의존한 결과였다.
• 모델은 원시 심전도 신호 시퀀스에서 심박수를 성공적으로 추정하여, LLMs가 패턴 인식과 맥락적 추론을 통해 복잡한 생리적 신호를 해석할 수 있음을 보여주었다.
• 효과적인 프롬프트 설계가 성능 향상에 크게 기여했으며, 정형 프롬프트가 LLM이 센서 데이터에서 의미 있는 물리적 통찰을 추출하도록 도왔다.
• 필터링 및 단계 탐지와 같은 전처리 기법의 통합은 신호의 해석 가능성 향상과 LLM 출력의 신뢰성 향상에 기여했다.
• 초기 결과는 LLMs가 세계 지식과 센서 데이터 사이에 복잡한 연결을 맺을 수 있음을 시사하며, 이는 기존에 전문 모델이나 레이블이 있는 데이터셋이 필요로 했던 인식 작업을 가능하게 한다.
• 이 접근법은 광범위한 재훈련 없이도 LLMs를 사이버-물리 시스템에 구현할 수 있음을 보여주며, AGI-인-더-루프 응용 분야에서 확장 가능한 길을 제시한다.