[논문 리뷰] GPT-4o System Card

OpenAI, :외 418명|arXiv (Cornell University)|2024. 10. 25.

Cardiovascular Function and Risk Factors인용 수 100

한 줄 요약

OpenAI는 다중 모달 GPT-4o 모델의 시스템 카드, 그 기능, 안전 평가, 위험 완화책, 제3자 평가를 상세히 제시합니다.

ABSTRACT

GPT-4o is an autoregressive omni model that accepts as input any combination of text, audio, image, and video, and generates any combination of text, audio, and image outputs. It's trained end-to-end across text, vision, and audio, meaning all inputs and outputs are processed by the same neural network. GPT-4o can respond to audio inputs in as little as 232 milliseconds, with an average of 320 milliseconds, which is similar to human response time in conversation. It matches GPT-4 Turbo performance on text in English and code, with significant improvement on text in non-English languages, while also being much faster and 50\% cheaper in the API. GPT-4o is especially better at vision and audio understanding compared to existing models. In line with our commitment to building AI safely and consistent with our voluntary commitments to the White House, we are sharing the GPT-4o System Card, which includes our Preparedness Framework evaluations. In this System Card, we provide a detailed look at GPT-4o's capabilities, limitations, and safety evaluations across multiple categories, focusing on speech-to-speech while also evaluating text and image capabilities, and measures we've implemented to ensure the model is safe and aligned. We also include third-party assessments on dangerous capabilities, as well as discussion of potential societal impacts of GPT-4o's text and vision capabilities.

연구 동기 및 목표

• 텍스트, 비전, 오디오 모달리티에서의 GPT-4o 기능을 제시하고 성능과 비용 측면에서 GPT-4 Turbo와 비교한다.
• 위험 완화를 위해 사용된 데이터 출처, 사전 학습, 데이터 필터링/마스킹 전략을 설명한다.
• 여러 위험 범주에 걸친 Preparedness Framework 평가 및 안전 완화책을 개요로 제시한다.
• 외부 레드팀 프로세스, 방법론 및 평가의 한계를 상세히 기술한다.
• GPT-4o에 대한 제3자 평가 및 사회적 영향 고려사항을 요약한다.

제안 방법

• GPT-4o를 텍스트, 이미지, 오디오, 비디오 입력을 처리하고 텍스트, 오디오, 또는 이미지를 출력하는 자기회귀식 올모델로 설명한다.
• 웹 데이터, 코드/수학, 그리고 다중 모달 데이터 등 데이터 출처와 학습 구성요소를 설명한다.
• 사후 학습 정렬, 레드팀링, 및 제품 차원의 완화책을 안전 조치로 개요한다.
• 레드팀 데이터를 활용한 평가 방법론과 텍스트 기반 작업을 TTS를 통해 오디오 기반 작업으로 변환하는 방법을 논의한다.
• Preparedness Framework 평가를 제시하고 높은 위험 범주가 배치 결정에 미치는 영향을 설명한다.
• 제3자 평가(METR 및 Apollo Research)와 그 시사점을 요약한다.

실험 결과

연구 질문

• RQ1 GPT-4o의 텍스트, 비전, 오디오 모달리티에서의 기능은 무엇인가?
• RQ2 음성-음성 사용 사례에 대한 안전 완화책과 조정 도구의 효과는 얼마나 되는가?
• RQ3 다양한 음성 및 억양에서의 성능은 능력과 안전 동작 측면에서 어떻게 나타나는가?
• RQ4 자율성과 관련된 위험과 관련해 외부 레드팀 및 제3자 평가의 결과는 무엇인가?

주요 결과

• GPT-4o는 영어 텍스트 및 코드에서 GPT-4 Turbo와 대등하며 API에서 더 빠르고 50% 저렴하고 비영어 텍스트에서 상당한 개선이 있다.
• 외부 레드팀은 29개국에 걸쳐 45개 언어를 다루었고 다수의 안전 평가 및 완화책에 정보를 제공했다.
• 음성 모드 완화책은 무단 음성 생성 방지 및 화자 식별 거부에 대해 높은 정확도를 보여준다(예: 화자 식별에서 거부해야 하는 경우 98% 이상).
• 다양한 목소리 간 성능 차이는 미미하며 평가에서 안전 행동은 음성에 따라 크게 불변이다.
• Preparedness Framework는 사이버 보안, CBRN, 설득, 모델 자율성 평가 후 GPT-4o의 전체 위험을 중간으로 분류한다.
• 제3자 평가(METR 및 Apollo) 는 추가적인 검증을 제공하지만 자율성과 관련된 기능이 제한된 영역도 부각한다.

Figure 1 : Quantum physics experiment red teamer example