[논문 리뷰] Talking About Large Language Models

Murray Shanahan|arXiv (Cornell University)|2022. 12. 07.

Topic Modeling인용 수 72

한 줄 요약

이 논문은 LLMs를 논의할 때 정확한 언어를 사용해야 한다고 주장하며, 그것들이 더 큰 시스템에 내재된 강력한 통계적 시퀀스 예측기임을 명확히 하고, 인격화와 신념, 지식, 의식의 잘못된 귀속을 경계한다.

ABSTRACT

Thanks to rapid progress in artificial intelligence, we have entered an era when technology and philosophy intersect in interesting ways. Sitting squarely at the centre of this intersection are large language models (LLMs). The more adept LLMs become at mimicking human language, the more vulnerable we become to anthropomorphism, to seeing the systems in which they are embedded as more human-like than they really are. This trend is amplified by the natural tendency to use philosophically loaded terms, such as "knows", "believes", and "thinks", when describing these systems. To mitigate this trend, this paper advocates the practice of repeatedly stepping back to remind ourselves of how LLMs, and the systems of which they form a part, actually work. The hope is that increased scientific precision will encourage more philosophical nuance in the discourse around artificial intelligence, both within the field and in the public sphere.

연구 동기 및 목표

• LLMs가 토큰 예측 및 통계적 분포 측면에서 실제로 무엇을 하는지 명확히 한다.
• 작은 LLM 능력을 그것들이 작동하는 더 큰 시스템과 구분한다.
• LLMs 및 관련 시스템에 대한 신념, 지식, 의식의 잘못된 귀속에 경고한다.

제안 방법

• 대규모 텍스트 말뭉치에서 학습된 토큰 분포의 생성 모델로 LLM을 설명한다.
• 사고 실험과 예시를 사용하여 인간의 언어 사용과 LLM 행동의 차이를 설명한다.
• LLM 기반 응용을 가능하게 하는 프롬프트 엔지니어링과 시스템 임베딩의 역할에 대해 논의한다.
• 맨 배우 LLM과 구현/시스템 맥락에서의 신념, 지식, 추론의 개념을 분석한다.
• 구현은 외부 정보원(예: 위키피디아, 도구)과 같은 요소가 LLM에 대해 정신 상태를 귀속하는 데 미치는 영향을 고찰한다.

실험 결과

연구 질문

• RQ1 LLM 기반 시스템은 실제로 신념이나 지식을 가지고 있는가?
• RQ2 LLMs가 진정으로 추론할 수 있는가, 아니면 프롬프트와 패턴 완성을 통해 추론을 모방하는가?
• RQ3 더 큰 시스템이나 구현된 맥락에 LLM을 임베딩하는 것이 의도, 신념, 이해의 귀속에 어떤 영향을 미치는가?
• RQ4 LLM의 출력에 대한 외부 정보원과 구현의 한계는 무엇인가?
• RQ5 LLM과 그 능력을 설명할 때 인간화된 표현을 사용할 때 필요한 주의는 무엇인가?

주요 결과

• LLMs는 단어 시퀀스의 통계적으로 가능성이 높은 연속을 생성하는 것이 핵심 기능이다.
• LLM을 더 큰 시스템에 임베딩하고 프롬프트 엔지니어링을 사용하는 것은 기본 시퀀스 예측 메커니즘을 바꾸지 않으면서도 다양한 응용을 가능하게 한다.
• 엄격한 인간화(신념, 지식, 의식)는 맨 바디 LLM에는 부적절하지만, 전체 시스템은 다른 해석이 필요할 수 있다.
• 외부 근거화(예: Wikipedia, 도구)는 신념 유사 속성을 맨 모델이 아닌 더 넓은 시스템으로 이동시킨다.
• 구현은 시스템을 더 인간에 가까워지게 만들 수 있지만, 언어 사용의 근거는 인간의 세계-지향적 이해와 다르다.