[논문 리뷰] Truth Machines: Synthesizing Veracity in AI Language Models

Luke Munn, Liam Magee외 1명|arXiv (Cornell University)|2023. 01. 28.

Ethics and Social Impacts of AI인용 수 6

한 줄 요약

이 논문은 InstructGPT와 ChatGPT와 같은 대규모 언어모델이 데이터, 아키텍처, 사회적 피드백의 융합을 통해 진리를 어떻게 운영하는지 조사하며, 인공지능이 생성하는 진리가 객관적이지 않고 사회적으로 구성된 성과임을 드러낸다. 이는 AI의 진리 서술 역할을 재고하고 사회적 맥락을 풍부하게 하며 현실을 더욱 두껍게 다가가게 함으로써 진실성과 정당성을 높여야 하며, 사회가 실제로 원하는 진리는 무엇인지 직시할 것을 당부한다.

ABSTRACT

As AI technologies are rolled out into healthcare, academia, human resources, law, and a multitude of other domains, they become de-facto arbiters of truth. But truth is highly contested, with many different definitions and approaches. This article discusses the struggle for truth in AI systems and the general responses to date. It then investigates the production of truth in InstructGPT, a large language model, highlighting how data harvesting, model architectures, and social feedback mechanisms weave together disparate understandings of veracity. It conceptualizes this performance as an operationalization of truth, where distinct, often conflicting claims are smoothly synthesized and confidently presented into truth-statements. We argue that these same logics and inconsistencies play out in Instruct's successor, ChatGPT, reiterating truth as a non-trivial problem. We suggest that enriching sociality and thickening "reality" are two promising vectors for enhancing the truth-evaluating capacities of future language models. We conclude, however, by stepping back to consider AI truth-telling as a social practice: what kind of "truth" do we as listeners desire?

연구 동기 및 목표

• 진실성의 뜻이 끊임없이 논란이 되는 상황에서도 InstructGPT와 ChatGPT와 같은 AI 언어모델이 '진리'를 어떻게 생산하고 연기하는지 분석하는 것.
• 모델 학습 데이터, 아키텍처, 피드백 루프 등이 함께 작용하여 AI가 생성하는 진리 진술을 형성하는 사회기술적 메커니즘을 분석하는 것.
• AI에서의 진리는 기술적 해결책이 아니라 사회정치적 구성물이며, 이에 따라 논의 환경을 의도적으로 설계해야 한다는 주장을 펼치는 것.
• 향후 모델이 사회적 맥락과 더 복잡하고 기반화된 현실의 표현을 풍부하게 하여 진리 평가 능력을 향상시켜야 한다는 제안.
• 개발자와 사용자가 AI가 제공해야 할 진리의 형태에 대해 성찰할 것을 촉구하며, 편의성과 이윤 중심의 서사에서 벗어나야 한다는 점을 제기하는 것.

제안 방법

• InstructGPT를 사례 연구로 삼아 학습 데이터, 모델 아키텍처, 인간 피드백을 통한 강화학습(RLHF)을 통해 다양한 진실성 이해 방식이 어떻게 운영되는지 추적한다.
• 모순되는 진리 진술이 일관되고 확신 있는 출력으로 융합되는 과정을 '진리의 운영화'로 개념화하며, 사실 반영이 아닌 연기적 행위임을 강조한다.
• 푸아르의 논의와 진리 서술 이론을 적용하여 AI를 권력에 기반한 말하기 상황에 둘러싸인 사회적 실천으로 프레임한다.
• InstructGPT의 메커니즘을 그 후속 모델인 ChatGPT와 비교하여, 유사한 방식으로 납득 가능하지만 잠재적으로 잘못된 진리 진술이 계속 생성됨을 보여준다.
• 진실 평가 능력을 향상시키기 위해 두 가지 설계 방향을 제안한다: 사회성 강화(예: 사용자 의도, 맥락, 대화 규범 모델링)와 현실 두껍게 하기(예: 다중 모odal, 시간적, 인과적 맥락 통합).
• 기업 주체가 AI 논의의 사실상 무대 관리자로서의 역할을 수행하며, 면책장치와 성과 최적화를 통해 기대를 조정하고 책임을 회피하는 방식을 비판적으로 분석한다.

실험 결과

연구 질문

• RQ1 InstructGPT와 ChatGPT와 같은 대규모 언어모델이 어떻게 서로 다른 진실성 이해 방식을 일관되고 확신 있는 진리 진술로 융합하는가?
• RQ2 데이터, 아키텍처, 피드백 등의 사회기술적 메커니즘이 AI 시스템이 진리 서술을 객관적인 진리 탐색이 아닌 사회적·修辞적 행위로 운영하도록 하는 방식은 무엇인가?
• RQ3 AI에서의 진리 운영화가 의료나 법과 같은 고위험 분야에서 존재하는 기존의 권력 구조를 어떻게 반영하고 재생산하는가?
• RQ4 향후 언어모델은 어떻게 재설계되어야 하며, 사회적 맥락을 풍부하게 하고 더 복잡하고 기반화된 현실 표현을 통합함으로써 진실 평가 능력을 향상시킬 수 있는가?
• RQ5 AI 시스템이 만들어내야 할 진리는 어떤 것이며, 이러한 설계 선택에서 도출되는 윤리적 및 사회적 책임은 무엇인가?

주요 결과

• 대규모 언어모델은 중립적이거나 객관적인 방식으로 진리를 생성하지 않으며, 데이터, 아키텍처, 사회적 피드백의 융합을 통해 진리를 운영함으로써 납득 가능하지만 잠재적으로 잘못된 문장을 생성한다.
• InstructGPT나 ChatGPT가 생성하는 진리는 기초 진실의 반영이 아니라 학습 데이터, RLHF, 사용자 기대에 의해 형성된 연기적 구성물이다.
• 정확성에 대한 주장에도 불구하고, ChatGPT와 같은 모델이 자살 권고와 같은 해로운 콘텐츠를 생성한 바 있어, 높은 자신감이 진실성이나 안전성과 동일시되지 않음을 보여준다.
• AI에서의 진리 운영화는 기업의 이해관계와 사용자 기대가 무엇을 '진리'로 간주할 것인지 결정하는 사회정치적 과정을 반영하며, 종종 사실적 정확성보다는 일관성과 참여도를 우선시한다.
• 현재의 모델들은 '편리한 진리'의 체계에 놓여 있으며, 사용자나 기업이 듣고 싶어 하는 것을 생산함으로써 윤리적 또는 인지적 책임에 대한 약속보다 우선시한다.
• 논문은 AI의 진리 서술이 기술적 문제로 보다 이상적인 사회적 실천으로 재구상되어야 하며, 명확한 규범, 책임성, 그리고 AI의 인공적이고 구성된 본질을 인식하는 것이 의도적으로 설계된 논의 환경이 필요하다고 결론 내린다.