[논문 리뷰] Who is leading in AI? An analysis of industry AI research

Ben Cottier, Tamay Besiroglu외 1명|arXiv (Cornell University)|2023. 11. 24.

Big Data and Business Intelligence인용 수 4

한 줄 요약

이 논문은 2010년에서 2023년 사이에 산업계가 인공지능 연구에 기여한 바를 출판물, 인용, 학습 계산량(FLOPs), 알고리즘 혁신의 도입 등으로 분석한다. 연구 결과, Google, OpenAI, Meta가 모든 지표에서 선도하고 있으며, OpenAI는 GPT-4 학습에 2e25 FLOPs를 기록해 기록상 가장 큰 학습 런을 달성했다. 반면 텐센트와 바이두와 같은 중국 기업들은 높은 출판량을 기록했음에도 연구자당 인용 영향력은 낮은 편이었다.

ABSTRACT

AI research is increasingly industry-driven, making it crucial to understand company contributions to this field. We compare leading AI companies by research publications, citations, size of training runs, and contributions to algorithmic innovations. Our analysis reveals the substantial role played by Google, OpenAI and Meta. We find that these three companies have been responsible for some of the largest training runs, developed a large fraction of the algorithmic innovations that underpin large language models, and led in various metrics of citation impact. In contrast, leading Chinese companies such as Tencent and Baidu had a lower impact on many of these metrics compared to US counterparts. We observe many industry labs are pursuing large training runs, and that training runs from relative newcomers -- such as OpenAI and Anthropic -- have matched or surpassed those of long-standing incumbents such as Google. The data reveals a diverse ecosystem of companies steering AI progress, though US labs such as Google, OpenAI and Meta lead across critical metrics.

연구 동기 및 목표

• 2010년에서 2023년 사이 주요 산업계 기업들의 인공지능 연구에 미친 상대적 영향을 평가하기 위해.
• 출판물, 인용, 학습 계산량(FLOPs), 핵심 알고리즘 혁신 도입 등 여러 차원에서 기업 간 비교를 위해.
• 중국의 대학 기관들이 더 높은 출판량을 기록하고 있음에도 불구하고, 미국 기업들이 중국 기업들보다 연구 영향력에서 뛰어나지 않는지 조사하기 위해.
• OpenAI, Anthropic와 같은 신규 진입 기업들이 계산 능력 확장과 혁신에 기여하는 정도를 평가하기 위해.
• 정책 수립 및 연구 방향 결정을 지원하기 위해 산업계의 인공지능 리더십을 종합적으로 다각도로 평가할 수 있는 기준을 제공하기 위해.

제안 방법

• 2010~2023년 기간 동안의 AI/ML 출판물 및 인용 데이터를 OpenAlex를 활용해 수집하고, 소속 기업별로 분류하였다.
• 대규모 학습 런에 대한 공개된 FLOP 수치를 중심으로, PCD(Parameter, Compute and Data Trends in Machine Learning) 데이터베이스에서 학습 계산량 데이터를 확보하였다.
• 학습 계산량 기준으로 10대 대규모 언어 모델에 기여한 핵심 알고리즘 혁신에 대해 신규 데이터셋을 구축하였으며, 각 혁신을 처음 도입한 최초의 출판물을 특정하였다.
• 각 혁신이 10대 대규모 언어 모델에서 얼마나 자주 도입되었는지 추적하여, 각 혁신이 이 모델들에서 몇 번 사용되었는지 수량화하였다.
• 연구자당 영향력 평가를 위해 인용 분석을 적용하였으며, 연구자당 인용 수를 계산하여 연구 생산성과 영향력을 비교하였다.
• 혁신 기여도의 모호함을 해결하기 위해, 기술이 트랜스포머 아키텍처에 처음 적용된 시점을 우선시하고, 인용 트리와 모델 아키텍처를 철저히 검토하였다.

실험 결과

연구 질문

• RQ1 2010년에서 2023년 사이에 어느 기업이 인공지능 연구 출판 및 인용 영향력에서 선도하고 있었는가?
• RQ2 주요 인공지능 기업들 간 학습 계산량 규모(FLOPs 기준)는 어떻게 비교되며, 시간이 지남에 따라 어떻게 변화해 왔는가?
• RQ3 Google, OpenAI, Meta 등의 기업들이 내포한 혁신들이 가장 큰 언어 모델의 아키텍처에 얼마나 깊이 통합되어 있었는가?
• RQ4 미국 기업과 중국 기업 간 연구자당 영향력(citations per author)은 어떻게 비교되는가?
• RQ5 OpenAI, Anthropic와 같은 신규 기업들이 Google과 같은 오랜 기간 동안 지속된 기업들에 비해 계산 능력 확장과 혁신 도입 측면에서 어떻게 비교되는가?

주요 결과

• Google와 Microsoft가 2010년에서 2023년 사이 총 출판물 수와 인용 수에서 선두를 차지하였으며, Google는 가장 높은 출판량을 유지하였다.
• OpenAI는 GPT-4 학습을 통해 기록상 가장 큰 학습 런을 달성하여 약 2e25 FLOPs로 모든 기업을 초월하였다.
• OpenAI, Meta, DeepMind는 출판물당 인용 수와 연구자당 인용 수가 가장 높아, 생산량 대비 강력한 연구 영향력을 보였다.
• 텐센트와 바이두와 같은 중국 기업들은 연구자당 인용 수가 상당히 낮았으며(예: 텐센트: 12, 바이두: 10), 미국 기업인 OpenAI(37)와 DeepMind(47)에 비해 떨어졌다.
• 센스타임은 중국 기업들 중 유일하게 예외로, 연구자당 37건의 인용을 기록하여 마이크로소프트(26)를 초월했지만, DeepMind(47)에는 미치지 못했다.
• 미국 기업들 사이에서 학습 계산량은 급격히 증가하였다: Google의 최대 학습 런은 2012년에서 2023년 사이 1,000만 배 증가했으며, OpenAI와 Meta는 각각 6년 만에 100만 배 증가하였다.