[논문 리뷰] A Hazard Analysis Framework for Code Synthesis Large Language Models

Heidy Khlaaf, Pamela Mishkin외 3명|arXiv (Cornell University)|2022. 07. 25.

Software Engineering Research인용 수 9

한 줄 요약

이 논문은 Codex와 같은 코드 생성 대규모 언어 모델(Large Language Models, LLMs)을 대상으로 한 위험 분석 프레임워크를 제안하며, 복잡한 고수준 코드 사양에 대한 모델 성능을 평가하기 위한 새로운 능력 평가를 통합한다. 이 프레임워크는 기술적, 사회적, 정치적, 경제적 위험을 식별하며, 모델 아키텍처 강화, 정제된 데이터에 대한 피니테이닝, 사용자 대상 안전 조치와 같은 우선순위가 높은 완화 조치를 포함한다. 이는 오용 가능성을 줄이고 정렬 문제를 완화하기 위함이다.

ABSTRACT

Codex, a large language model (LLM) trained on a variety of codebases, exceeds the previous state of the art in its capacity to synthesize and generate code. Although Codex provides a plethora of benefits, models that may generate code on such scale have significant limitations, alignment problems, the potential to be misused, and the possibility to increase the rate of progress in technical fields that may themselves have destabilizing impacts or have misuse potential. Yet such safety impacts are not yet known or remain to be explored. In this paper, we outline a hazard analysis framework constructed at OpenAI to uncover hazards or safety risks that the deployment of models like Codex may impose technically, socially, politically, and economically. The analysis is informed by a novel evaluation framework that determines the capacity of advanced code generation techniques against the complexity and expressivity of specification prompts, and their capability to understand and execute them relative to human ability.

연구 동기 및 목표

• 코드 생성 LLM에 대한 체계적인 안전 평가 부족 문제를 해결하기 위해, 그 유용성에도 불구하고 정렬, 오용, 사회적 위험을 야기할 수 있는 시스템적 평가 부족 문제를 해결한다.
• 점점 더 복잡한 자연어 사양으로부터 코드를 이해하고 생성하는 데 있어 LLM의 능력을 측정할 수 있는 능력 평가 프레임워크를 개발한다.
• 코드 생성 LLM을 대규모로 배포할 경우 발생할 수 있는 기술적, 사회적, 정치적, 경제적 위험을 식별하고 분석한다.
• 모델 아키텍처, 훈련 데이터, 사용자 상호작용, 경제적 영향에 맞춰 맞춤형으로 적용 가능한 완화 전략을 제안한다.
• 향후 코드 생성 LLM에 적용 가능한 반복 가능한 위험 분석 프로세스를 수립하여 개발 과정에서 사전적 안전 통합을 보장한다.

제안 방법

• 형식적 사양 메트릭(예: 표현력, 복잡도)을 자연어 프롬프트에 적응시켜 점차 어려워지는 사양 난이도에 따라 모델 능력을 벤치마킹한다.
• 고수준 프로그래밍 작업을 반영하는 질적 테스트 문제 세트를 구성하고, 인간 전문가의 평가를 통해 모델 출력을 분류한다.
• Codex와 같은 API 기반 접근 방식과 같은 모델 배포 시나리오에 위험 분석 기법(예: 위험 요인 식별, 장애 모드 분석)을 적용한다.
• 식별된 위험을 심각도와 발생 확률에 따라 매핑하고, 분포적 영향(예: 소수자 집단에 미치는 영향)을 고려한다.
• 모델 개발 과정에 아키텍처 변경, 문법 및 AST 준수 출력을 유도하는 조치를 통합한다.
• 피니테이닝, 위험한 라이브러리 블랙리스트 등록, 악성 또는 편향된 코드 생성을 탐지하고 차단하기 위한 분류기 학습을 구현한다.

실험 결과

연구 질문

• RQ1 점차 복잡하고 고수준이 되는 자연어 사양에 대해 코드 생성 LLM의 능력을 어떻게 체계적으로 평가할 수 있는가?
• RQ2 Codex와 같은 코드 생성 LLM을 실제 시스템에 배포할 경우 발생할 수 있는 기술적, 사회적, 정치적, 경제적 위험은 무엇인가?
• RQ3 실패 모드와 잠재적 행동이 잘 이해되지 않는 기계학습 시스템에 대해 위험 분석을 어떻게 적응시킬 수 있는가?
• RQ4 코드 생성 모델에서 오용, 편향, 시스템 수준의 피해를 줄이기 위해 가장 효과적인 완화 전략은 무엇인가?
• RQ5 모델 개발자가 진화하는 모델 아키텍처와 배포 환경에 걸쳐 지속적인 안전 평가를 어떻게 보장할 수 있는가?

주요 결과

• 평가 프레임워크는 복잡하고 고수준의 코드 사양에 대해 인간 수준의 이해를 기준으로 모델 성능을 성공적으로 측정하며, 현재 LLM의 능력 격차를 드러냈다.
• Codex는 기본적인 함수 수준 작업에서는 뛰어난 성능를 보이지만, 깊은 의미적 이해가 필요한 고수준의 사양 기반 프로그래밍에서는 어려움을 겪는다.
• 위험 분석은 악성 코드 생성, 편향 강화, 개발자 노동력의 경제적 위협, 감시 가속화와 같은 핵심 위험을 식별했다.
• 고위험 영역은 자동화된 악성 코드 생성, 위성 정보 퍼뜨리기 지원, 개인정보 침해를 유도하는 코드 등으로 집중되어 있으며, 특히 공개 API를 통해 노출된 경우 더욱 심각한 위험이 된다.
• 모델 아키텍처 강화, 정제된 데이터에 대한 훈련, 분류기 기반 탐지와 같은 완화 전략은 핵심 위험에 대한 위험 지수(HRI)를 크게 감소시켰다.
• 모델 규모와 배포 환경의 변화에 따라 위험 프로파일이 변화하므로, 실제 환경에서의 모델 행동에 대한 지속적인 평가와 모니터링가 필수적이다.