[논문 리뷰] SoK: Memorization in General-Purpose Large Language Models

Valentin N. Hartmann, Anshuman Suri외 4명|arXiv (Cornell University)|2023. 10. 24.

Topic Modeling인용 수 9

한 줄 요약

본 고찰은 대형 언어 모델에서의 암기 유형에 대한 분류법을 제시하고, 성능, 프라이버시, 보안, 저작권 및 감사를 위한 시사점을 분석하며, 평문 텍스트, 사실, 아이디어와 알고리즘, 글쓰기 스타일, 분포적 특성, 정렬 목표 전반에 걸친 탐지 및 완화 전략을 논의한다.

ABSTRACT

Large Language Models (LLMs) are advancing at a remarkable pace, with myriad applications under development. Unlike most earlier machine learning models, they are no longer built for one specific application but are designed to excel in a wide range of tasks. A major part of this success is due to their huge training datasets and the unprecedented number of model parameters, which allow them to memorize large amounts of information contained in the training data. This memorization goes beyond mere language, and encompasses information only present in a few documents. This is often desirable since it is necessary for performing tasks such as question answering, and therefore an important part of learning, but also brings a whole array of issues, from privacy and security to copyright and beyond. LLMs can memorize short secrets in the training data, but can also memorize concepts like facts or writing styles that can be expressed in text in many different ways. We propose a taxonomy for memorization in LLMs that covers verbatim text, facts, ideas and algorithms, writing styles, distributional properties, and alignment goals. We describe the implications of each type of memorization - both positive and negative - for model performance, privacy, security and confidentiality, copyright, and auditing, and ways to detect and prevent memorization. We further highlight the challenges that arise from the predominant way of defining memorization with respect to model behavior instead of model weights, due to LLM-specific phenomena such as reasoning capabilities or differences between decoding algorithms. Throughout the paper, we describe potential risks and opportunities arising from memorization in LLMs that we hope will motivate new research directions.

연구 동기 및 목표

• 다양한 정보 유형에 걸친 대형 언어 모델의 암기에 대한 포괄적 분류 체계를 제시합니다.
• 암기가 모델 성능, 프라이버시, 보안, 저작권 및 감사에 미치는 시사점을 논의합니다.
• 암기의 정의와 측정에서의 도전과제를 식별하고 탐지 및 완화 방법을 제시합니다.
• LLM의 암기에 대한 이해와 거버넌스를 증진하기 위한 미해결 문제 및 연구 방향을 강조합니다.

제안 방법

• 평문 텍스트, 사실, 아이디어와 알고리즘, 글쓰기 스타일, 학습 분포의 특성, 정렬 목표를 다루는 LLM의 암기 유형에 대한 분류 체계를 제안합니다.
• LLM, ML, 프라이버시, 보안, 법률 분야의 문헌을 검토·종합하여 암기를 성능, 프라이버시, 보안, 저작권 및 감사와 연관시킵니다.
• 각 암기 유형에 대한 정의, 탐지 방법 및 완화책을 논의합니다.
• 암기와 환각 및 추론을 대조하여 출력이 암기된 콘텐츠에 의한 것인지 아니면 일반화에 의한 것인지를 명확히 구분합니다.
• 추론 공격과 분포 추론과 같은 측정상의 어려움을 강조하고 이것들이 암기 연구에 미치는 영향을 제시합니다.

실험 결과

연구 질문

• RQ1 LLMs가 암기하는 서로 다른 정보 유형은 무엇이며 이를 어떻게 정의하고 탐지할 수 있는가?
• RQ2 각 암기 유형이 모델 성능, 프라이버시, 보안, 저작권 및 감사에 미치는 시사점은 무엇인가?
• RQ3 프롬프트, 디코딩 및 모델 동작의 문제에 직면하여 실제로 암기를 어떻게 측정, 완화하고 관리할 수 있는가?
• RQ4 평문 텍스트를 넘어 암기를 고려할 때 어떤 열린 연구 방향이 나타나는가?

주요 결과

• 평문 텍스트 암기는 일반적이며 전체 문서에서 짧은 시퀀스나 의역에 이르기까지 다양할 수 있으며, 탐지 및 완화의 도전은 디코딩과 프롬프트와 관련이 있다.
• 세계 및 도메인 지식뿐 아니라 PII를 포함한 암기된 사실은 튜플, KaRR 스타일 지표, 반사실적 암기를 통해 연구될 수 있으며 지식 정확도와 프라이버시에 영향을 준다.
• 아이디어, 알고리즘, 글쓰기 스타일의 암기는 일반화와 이전을 가능하게 하지만 해로운 콘텐츠 재현, 맥락 이탈, 저작권 문제를 초래할 위험도 있다.
• 학습 분포 특성 및 정렬 목표와 관련된 암기는 학습 효율성, 편향, 안전성, 인간 선호도나 라벨의 누출 가능성에 영향을 준다.
• 본 논문은 암기와 추론 및 환각을 구분하는 어려움을 강조하고 데이터세트 오염 및 모델 안전성의 약점을 드러낼 수 있는 감사 방법을 옹호한다.
• 중복 제거, 가지치기, 의미적 수준의 학습 목표, 벤치마크의 카나리, 사후 처리 안전장치 등 다양한 탐지 및 예방 전략이 논의된다.