[논문 리뷰] A Cost Analysis of Generative Language Models and Influence Operations

Micah Musser|arXiv (Cornell University)|2023. 08. 07.

Software Engineering Research인용 수 5

한 줄 요약

이 논문은 영향력 행사에 대규모 언어 모델(LLM)을 사용할 때 발생하는 경제적 비용을 모델링하여, 조작 목적의 콘텐츠 생성 비용을 최대 70%까지 낮출 수 있음을 보여준다. 조작 목적의 콘텐츠 생성에 사용되는 LLM의 정확도가 25%에 불과한 저신뢰도 모델이라도 인간의 수작업에 비해 비용 절감 효과를 낼 수 있다. 또한, 오픈소스 대체 모델이 존재하는 경우 API 접근 가능한 모델에 대한 감시 통제 조치는 제한된 억제 효과를 가지며, 국가 주도의 영향력 행사 캠페인에서 맞춤형 LLM을 훈련시키는 데서는 경제적 이득을 얻기 어렵다는 점을 밝히고 있다.

ABSTRACT

Despite speculation that recent large language models (LLMs) are likely to be used maliciously to improve the quality or scale of influence operations, uncertainty persists regarding the economic value that LLMs offer propagandists. This research constructs a model of costs facing propagandists for content generation at scale and analyzes (1) the potential savings that LLMs could offer propagandists, (2) the potential deterrent effect of monitoring controls on API-accessible LLMs, and (3) the optimal strategy for propagandists choosing between multiple private and/or open source LLMs when conducting influence operations. Primary results suggest that LLMs need only produce usable outputs with relatively low reliability (roughly 25%) to offer cost savings to propagandists, that the potential reduction in content generation costs can be quite high (up to 70% for a highly reliable model), and that monitoring capabilities have sharply limited cost imposition effects when alternative open source models are available. In addition, these results suggest that nation-states -- even those conducting many large-scale influence operations per year -- are unlikely to benefit economically from training custom LLMs specifically for use in influence operations.

연구 동기 및 목표

• 대규모 영향력 행사에 있어 선전가들이 LLM을 도입할 경제적 동기를 평가하기 위해.
• 다양한 모델 신뢰도와 캐리어 요구 조건 하에서 수작업 콘텐츠 생성 대비 LLM 사용 시 비용 절감 효과를 평가하기 위해.
• 정책적 조치로서 API 접근 가능한 LLM에 대한 감시 통제 조치의 경제적 영향을 분석하기 위해.
• 국가 주도의 영향력 행사 캠페인을 수행하는 데 있어 맞춤형 LLM을 훈련시키는 데서 경제적 이점이 있는지 판단하기 위해.

제안 방법

• 연구는 수작업 작성, API 접근 가능한 LLM, 오픈소스 LLM의 세 가지 콘텐츠 생성 전략을 비교하는 비용 모델을 구축한다.
• 대부분의 수학적 해법을 사용하여 LLM이 인간 노동이나 다른 모델보다 경제적으로 유리해지는 임계 성능 수준을 유도한다.
• 모델은 마진 비용(노무, 탐지 제재, 캐리어 시간)과 고정 비용(예: LLM 훈련 또는 파라미터 조정)을 포함한다.
• 핵심 방정식(예: 식 6–10)은 투자에 대한 손익분기 성능, 탐지 임계값, 최소 실현 가능한 캠페인 규모를 계산한다.
• 몬테카를로 추정을 사용하여 다양한 매개변수 값에서 결과를 시뮬레이션하고 검증하며, 코드는 GitHub에 공개되어 있다.

실험 결과

연구 질문

• RQ1 LLM이 영향력 행사에서 인간이 작성한 콘텐츠에 비해 비용 절감 효과를 낼 수 있도록 도달해야 하는 최소 신뢰도는 어느 정도여야 하는가?
• RQ2 오픈소스 대체 모델이 존재하는 상황에서, API 접근 가능한 LLM에 대한 감시 통제 조치가 악성 사용을 억제하는 데 얼마나 효과적인가?
• RQ3 맞춤형 LLM을 훈련시키는 데 투자하는 데 있어 경제적으로 실현 가능한 최소 캠페인 규모는 얼마인가?
• RQ4 국가 주도의 영향력 행사 캠페인을 수행하는 데 있어, 독자적인 LLM을 훈련시키는 데서 경제적 이득을 얻을 수 있는 조건는 무엇인가?

주요 결과

• 25%의 정확도조차도 선전가들에게 비용 절감 효과를 줄 수 있어, 기만적 캠페인에 경제적으로 실현 가능한 선택이 된다.
• 매우 높은 정확도를 가진 LLM(예: 90% 정확도)은 인간 수작업에 비해 콘텐츠 생성 비용을 최대 70%까지 낮출 수 있다.
• 오픈소스 대체 모델이 존재하는 한, API 접근 가능한 LLM에 대한 감시 통제 조치는 제한된 억제 효과를 가지며, 운영자는 저비용이고 감시되지 않는 대체 모델로 전환할 수 있다.
• 대규모 영향력 행사 캠페인을 수행하는 국가 주도 기관은 연간 캠페인 빈도가 높더라도, 맞춤형 LLM을 훈련시키는 데서는 상당한 경제적 이득을 얻기 어렵다.
• API 접근 가능한 LLM 사용을 억제하기 위한 최소 탐지율은 모델 성능과 백업 옵션(오픈소스 모델 포함)의 가용성에 따라 달라진다.
• 맞춤형 LLM에 투자하는 데 있어 최소 실현 가능한 캠페인 규모는 모델 성능, 고정 비용, 기존 대체 수단의 비용 효율성에 따라 달라진다.