[논문 리뷰] Apple Intelligence Foundation Language Models

Tom Gunter, Z. Wang외 153명|arXiv (Cornell University)|2024. 07. 29.

Advanced Database Systems and Queries인용 수 4

한 줄 요약

이 논문은 현장에서의 추론과 개인 클라우드 추론을 각각 위해 설계된 애플의 기초 언어 모델인 AFM-on-device (~3B 파라미터)와 AFM-server를 제시한다. 주요 초점은 효율성, 정확도, 책임감 있는 AI에 맞춰져 있으며, 최적화된 트랜스포머 아키텍처, 고도로 정제된 데이터, 철저한 레드팀 테스팅을 통해 최신 기술 수준의 안전성과 성능을 달성하여 유저 선호도 평가에서 악성 콘텐츠 대응 능력과 유용성 면에서 경쟁 모델을 앞선다.

ABSTRACT

We present foundation language models developed to power Apple Intelligence features, including a ~3 billion parameter model designed to run efficiently on devices and a large server-based language model designed for Private Cloud Compute. These models are designed to perform a wide range of tasks efficiently, accurately, and responsibly. This report describes the model architecture, the data used to train the model, the training process, how the models are optimized for inference, and the evaluation results. We highlight our focus on Responsible AI and how the principles are applied throughout the model development.

연구 동기 및 목표

• iOS, iPadOS, macOS 전반에 걸쳐 애플 인텔리전스 기능에 통합될 수 있도록 고성능, 고효율성, 개인정보 보호 중심의 기초 언어 모델을 개발하는 것.
• 사용자 권리 강화, 표현의 다양성, 신중한 설계, 개인정보 보호라는 核심 원칙을 모델 개발 전반에 통합하여 책임감 있는 AI를 확보하는 것.
• 다양한 작업(예: 텍스트 생성, 요약, 도구 사용 등)에서 높은 성능를 유지하면서도 저지연, 현장에서의 추론을 최적화하는 것.
• 적대적 프롬프트와 경쟁 모델 대비 인간 선호도 비교를 통한 철저한 모델 안전성 평가를 수행하는 것.
• 사용자 데이터를 존중하고 편향을 피하기 위해 사전 설계 및 데이터 정제를 통해 확장 가능한 개인정보 중심의 AI 시스템을 구축하는 것.

제안 방법

• 훈련 안정성을 확보하기 위해 RMSNorm, 사전 정규화, 쿼리/키 정규화를 적용한 밀도형 디코더 전용 트랜스포머 아키텍처 채택.
• KV 캐시 메모리 사용량을 줄이고 추론 효율성을 향상시키기 위해 8개의 키-밸류 헤드를 사용한 그룹화된 쿼리 어텐션(GQA) 적용.
• 파라미터 수를 감소시키고 계산 효율성을 향상시키기 위해 공유된 입력/출력 임bedding과 SwiGLU 활성화 함수 사용.
• 장기적 맥락 추론을 지원하기 위해 기저 주파수 500k를 사용한 RoPE 위치 임베딩 구현.
• 라이선스 출판사 콘텐츠, 오픈소스 데이터셋, Applebot이 크롤링한 웹 페이지에서 구성된 고품질, 다양한 훈련 데이터셋을 정제하며, 개인정보(People-Identifiable Information, PII), 폭력적 표현, 안전하지 않은 콘텐츠에 대해 엄격한 필터링 적용.
• 안전성 타분로지 기반의 자동 프롬프트 생성과 인간 기반 레드팀 테스팅을 통합하여 모델 취약점을 식별하고 완화하는 조치 시행.

실험 결과

연구 질문

• RQ1 기초 언어 모델는 어떻게 설계되어야 현장에서의 추론에 대해 높은 성능를 유지하면서도 효율성과 전력 최적화를 확보할 수 있는가?
• RQ2 고품질, 안전하고 개인정보 보호 중심의 사전 훈련 데이터 확보를 위해 가장 효과적인 데이터 정제 및 필터링 전략은 무엇인가?
• RQ3 편향 완화 및 개인정보 보호를 포함한 책임감 있는 AI 원칙은 모델의 안전성과 사용자 신뢰를 어느 정도 향상시키는가?
• RQ4 안전성과 유용성 측면에서 인간 선호도 평가에서 상용 및 오픈소스 모델 대비 모델 성능은 어떻게 평가되는가?
• RQ5 자동화된 프롬프트 생성과 인간 기반 레드팀 테스팅 과정은 적대적 프롬프트에 대한 모델 취약점을 효과적으로 식별하고 감소시킬 수 있는가?

주요 결과

• AFM-on-device와 AFM-server는 오픈소스 및 상용 모델 대비 적대적 안전성 프롬프트에서 훨씬 낮은 위반율을 기록하여 악성 콘텐츠에 대한 강건성을 입증했다.
• 측면 비교 평가에서 인간 평가자들이 애플 모델의 응답을 85%의 비율로 경쟁 모델 대비 선호하였으며, 안전성과 유용성 측면에서 높은 평가를 받았다.
• 텍스트 생성, 요약, 도구 사용 등 다양한 작업에서 높은 성능를 유지하였으며, 현장 모델은 약 2.58B개의 비임bedding 파라미터를 확보하고 애플 실리콘 기반에서 효율적인 추론을 수행했다.
• 엄격한 데이터 탈오염 및 필터링 조치를 통해 개인정보, 폭력적 표현, 안전하지 않은 콘텐츠 노출을 최소화하였으며, 훈련에 사용된 데이터에 개인 정보가 포함되지 않았다.
• 내부 및 외부 커뮤니티를 활용한 레드팀 테스팅은 건강 자원과 시간 제한을 고려하여 사용자 복지를 해치지 않으면서도 안전 위험을 포괄적으로 점검할 수 있도록 했다.
• 데이터 수집을 위한 자동 프롬프트 생성의 활용은 모델의 갭을 식별하고 평가 세트 커버리지를 향상시키는 데 효과적이었다.