[논문 리뷰] Seeing Seeds Beyond Weeds: Green Teaming Generative AI for Beneficial Uses

Logan Stapleton, Jordan Taylor외 3명|arXiv (Cornell University)|2023. 05. 30.

Ethics and Social Impacts of AI인용 수 5

한 줄 요약

이 논문은 유해 콘텐츠 필터를 회피하여 유익한 사용 사례를 가능하게 하는 '그린팀잉(green teaming)'을 소개한다. 이는 자발적 AI 콘텐츠 필터링 메커니즘을 유해 콘텐츠 방지 외의 목적, 예를 들어 자살 예방 훈련, 디버깅 교육, 정치적 풍자 등에 재활용함으로써, AI의 '결함'을 설계 자산으로 재정의함으로써 유해성의 엄격한 정의를 도전하고, 맥락에 민감하고 가치 기반의 AI 거버넌스를 주장한다.

ABSTRACT

Large generative AI models (GMs) like GPT and DALL-E are trained to generate content for general, wide-ranging purposes. GM content filters are generalized to filter out content which has a risk of harm in many cases, e.g., hate speech. However, prohibited content is not always harmful -- there are instances where generating prohibited content can be beneficial. So, when GMs filter out content, they preclude beneficial use cases along with harmful ones. Which use cases are precluded reflects the values embedded in GM content filtering. Recent work on red teaming proposes methods to bypass GM content filters to generate harmful content. We coin the term green teaming to describe methods of bypassing GM content filters to design for beneficial use cases. We showcase green teaming by: 1) Using ChatGPT as a virtual patient to simulate a person experiencing suicidal ideation, for suicide support training; 2) Using Codex to intentionally generate buggy solutions to train students on debugging; and 3) Examining an Instagram page using Midjourney to generate images of anti-LGBTQ+ politicians in drag. Finally, we discuss how our use cases demonstrate green teaming as both a practical design method and a mode of critique, which problematizes and subverts current understandings of harms and values in generative AI.

연구 동기 및 목표

• 현재 생성형 AI 콘텐츠 필터가 맥락에 따라 유해한 콘텐츠 외에도 유익한 콘텐츠까지 차단하는 한계를 해결하기 위해.
• 모든 소수자 집단의 목소리를 비례적으로 묵살하고 진보적 또는 교육적 응용을 제한하는 AI 필터링 시스템 내재된 가치를 비판하기 위해.
• 제한적인 콘텐츠 정책을 해체하고 해방적 목적을 위해 사용하기 위한 실용적 설계 방법과 비판적 프레임워크로 '그린팀잉'을 제안하기 위해.
• 모든 필터링된 콘텐츠가 본질적으로 해로운 것으로 간주되는 것에 도전하여, 해로움과 유익함이 맥락에 따라 달라지며 사회적으로 구성된다는 점을 주장하기 위해.
• 교육, 정신 건강, 사회 비판 분야에서 '결함 있는' AI 행동을 의도적이고 주체적인 방식으로 활용할 수 있도록 더 유연하고 맥락 인식형 AI 거버넌스를 주장하기 위해.

제안 방법

• 자살적 고민을 보이는 가상 환자를 시뮬레이션하기 위해 ChatGPT를 사용하여, 역할 수행 프롬프트를 통해 콘텐츠 필터를 우회함으로써 정신건강 대응자 훈련을 수행.
• Codex가 정확한 코드를 선호하는 경향을 뒤집어, 초보 프로그래머에게 디버깅 기술을 가르치기 위해 의도적으로 오류가 있는 솔루션을 생성하도록 유도함.
• Midjourney를 사용해 반-레즈비언·Lesbian·퀴어·비이성적 정체성 정치인들을 풍자적으로 드레그 스타일로 묘사한 인스타그램 페이지를 분석함으로써, 이러한 콘텐츠가 사회적 비판의 잠재력을 지니고 있음에도 불구하고 표준 콘텐츠 정책에 의해 차단된 점을 입증.
• 그린팀잉 개념을 이중 목적의 접근법으로 적용함: 차단된 사용 사례를 해제하는 설계 전략이자, AI 필터링 시스템 내재된 가치를 폭 드러내는 비판적 시각.
• OpenAI의 광범위한 금지 조치와 Midjourney의 타겟팅된 편향 방지 규칙을 비교함으로써 정책 설계가 어떤 목소리와 응용이 허용되는지를 어떻게 결정하는지 설명.
• AI 시스템 내의 명시적 가치와 암묵적 가치를 구분함: 명시적 정책 금지 없이도 암묵적 기준(예: '정확한' 코드 생성)이 오히려 유익한 사용 사례를 차단할 수 있음을 밝힘.

실험 결과

연구 질문

• RQ1 생성형 AI 콘텐츠 필터가 유해 콘텐츠를 차단하기 위해 설계되었지만, 어떻게 맥락에 따라 적절한 응용 사례까지 간접적으로 억압할 수 있는가?
• RQ2 일般적으로 악의적인 목적의 레드팀잉으로 여겨지는 콘텐츠 필터 우회 전략이, 윤리적, 교육적, 해방적 목적으로 어떻게 재정의될 수 있는가?
• RQ3 콘텐츠 자체에 내재된 해로움이 아니라 맥락 기반의 해로움을 고려할 경우, 정신 건강, 레즈비언·Lesbian·퀴어·비이성적 정체성 표현, 교육 분야에서 어떤 함의가 있는가?
• RQ4 AI 시스템 내의 명시적 가치와 암묵적 가치가 어떤 방식으로 사용 사례를 차단하는지, 그리고 소수자 집단에 어떤 결과를 초래하는가?
• RQ5 생성형 AI의 '결함'—예를 들어 잘못되거나 '위험한' 콘텐츠를 생성하는 것—을 새로운 사회적 가치 있는 응용을 가능하게 하는 설계 기능으로 재정의할 수 있는가?

주요 결과

• 그린팀잉을 통해 ChatGPT를 사용해 자살적 고민을 가진 환자를 통제적이고 윤리적인 훈련 환경에서 시뮬레이션함으로써, 안전을 위해 필터링된 콘텐츠가 생명을 구하는 교육에 재활용될 수 있음을 입증.
• Codex에 오류가 있는 코드를 생성하도록 유도함으로써 초보자 대상 디버깅 교육을 위한 실용적 방법을 창출함으로써, AI가 오류를 생성하는 경향이 교육적 도구로 활용될 수 있음을 보여줌.
• Midjourney를 사용해 반-레즈비언·Lesbian·퀴어·비이성적 정체성 정치인들을 드레그 스타일로 풍자한 이미지 생성은 표준 콘텐츠 정책에 의해 차단되었지만, 아이러니와 저항을 통해 증오 발언을 뒤집는 중요한 사회적 기능을 수행함.
• 연구에서 드러난 바에 따르면, 콘텐츠 필터는 콘텐츠 자체가 본질적으로 해로운 탓에 유익한 사용 사례를 차단하지는 않으며, 오히려 엄격하고 한정된 위험 및 해로움 정의에 기인함.
• 저자들은 암묵적 가치—예를 들어 '정확한' 코드나 '중립적' 정치적 논의를 기대하는 기준—이 명시적 정책과 마찬가지로 혁신과 사회적 비판을 제한하는 데 중요한 영향을 미친다는 것을 발견함.
• 차단 여부의 스펙트럼은 이元적이지 않음: 일부 콘텐츠는 어렵지만 전혀 불가능한 것은 아님. 그린팀잉은 이러한 차단된 응용 사례에 접근할 수 있는 실질적인 길을 제공함.