[논문 리뷰] Contextual Confidence and Generative AI

Shrey Jain, Zoë Hitzig외 1명|arXiv (Cornell University)|2023. 11. 02.

Ethics and Social Impacts of AI인용 수 4

한 줄 요약

이 논문은 생성형 AI가 의사소통의 맥락을 뒤흔들기 때문에 이를 해결하기 위해 '맥락적 신뢰도(contextual confidence)'를 프레임워크로 제안하며, 내용 기원, 워터마킹, 관계 기반 암호, 맥락 기반 훈련 등의 포함 전략과 이동 전략을 제안하여 진정한 의사소통의 안정성을 확보한다. 이는 기술적, 사회적, 정책적 조치의 체계적인 분류체계를 제공하여 AI가 중재하는 상호작용에서 신뢰와 맥락을 복원한다.

ABSTRACT

Generative AI models perturb the foundations of effective human communication. They present new challenges to contextual confidence, disrupting participants' ability to identify the authentic context of communication and their ability to protect communication from reuse and recombination outside its intended context. In this paper, we describe strategies--tools, technologies and policies--that aim to stabilize communication in the face of these challenges. The strategies we discuss fall into two broad categories. Containment strategies aim to reassert context in environments where it is currently threatened--a reaction to the context-free expectations and norms established by the internet. Mobilization strategies, by contrast, view the rise of generative AI as an opportunity to proactively set new and higher expectations around privacy and authenticity in mediated communication.

연구 동기 및 목표

• 생성형 AI로 인해 발생하는 맥락적 신뢰도의 약화를 해결하여 사용자가 의사소통의 진정한 맥락을 식별하고 보호할 수 있는 능력을 약화시키지 않도록 하는 것.
• 생성형 AI가 신원, 시간, 장소, 의도와 같은 전통적 맥락 표지자들을 어떻게 맥락 없는 재사용과 재조합을 가능하게 함으로써 맥락을 뒤흔들 수 있는지 분석하는 것.
• AI로 인한 맥락 위협에 대비하여 의사소통 환경의 맥락을 안정화하는 데 목적이 있는 '포획'과 '이동' 전략의 双중 프레임워크를 제안하는 것.
• 특히 안전 검토와 모델 카드에서 사용되는 표준화되고 경험적으로 검증된 방법론을 통해 AI 시스템 내 맥락적 신뢰도 평가를 위한 접근 방식을 제안하는 것.
• 기본 소스 및 분산형 AI 생태계에서 현재의 전략들이 가지는 한계를 부각하고, 분산 모델을 위한 맥락 유지 메커니즘에 대한 새로운 연구가 필요하다는 것을 주장하는 것.

제안 방법

• 손상된 의사소통 환경에서 맥락을 재확립하기 위한 '포획 전략'을 제안하며, 내용 기원, 커뮤니티 노트, 중앙집중식 디지털 신원, 신원의 사회적 교차점 등을 포함한다.
• 진정성과 프라이버시의 높은 기준을 사전에 설정하는 데 목적이 있는 '이동 전략'을 도입하며, 워터마킹, 모델 검증, 관계 기반 암호, 공모에 저항하는 디지털 신원 등을 포함한다.
• 사용자 정책, 콘텐츠 정책, 레이트 리밋팅, 프롬프트 보호, 부인 가능/사라지는 메시지 등의 기술적 및 정책적 메커니즘을 통해 맥락을 보호하는 방법을 제시한다.
• 맥락 기반 훈련, 데이터 검증, 데이터 협동조합, 안전한 데이터 공유를 통해 맥락을 모델 행동과 데이터 파이프라인에 통합하는 것을 주장한다.
• 많은 전략에서 중앙집중적 제어의 필요성을 강조하면서도, 오픈소스 및 분산형 AI 생태계에서의 한계를 지적한다.
• 실제 적용 효과와 예상치 못한 결과를 평가하기 위해 경험적 사용성 연구 및 설문 조사를 시행할 것을 촉구한다.

Figure 1: Summary of parties to pursue strategies discussed in this report.

실험 결과

연구 질문

• RQ1 생성형 AI는 사용자가 자신의 의사소통 맥락을 식별하고 보호할 수 있는 능력을 어떻게 근본적으로 뒤흔들 수 있는가?
• RQ2 기술적, 사회적, 정책적 메커니즘 중 어떤 것이 AI가 중재하는 의사소통에서 맥락적 신뢰도를 효과적으로 복원하는 데 기여할 수 있는가?
• RQ3 현재의 책임성 및 약속 메커니즘(예: 이용약관, 스크린샷 경고)은 맥락의 정합성을 유지하는 데 어떤 방식으로 부족한가?
• RQ4 워터마킹, 관계 기반 암호, 데이터 협동조합 같은 전략은 오픈소스 및 분산형 AI 모델에 어떻게 적응시킬 수 있는가?
• RQ5 기존의 검증 및 사실 확인 도구는 어떤 부작용을 낳고 있으며, 이를 어떻게 재설계하여 맥락적 신뢰도를 지원할 수 있는가?

주요 결과

• 생성형 AI는 맥락 없는 콘텐츠 재사용과 재조합을 가능하게 하여 맥락적 신뢰도를 약화시키며, 사용자가 메시지의 출처, 시기, 의도를 식별할 수 있는 능력을 떨어뜨린다.
• 내용 기원, 커뮤니티 노트와 같은 포획 전략은 손상된 의사소통 환경에서 맥락을 재확립하는 데 도움이 되지만, 중앙집중적 시행 없이는 효과가 제한된다.
• 워터마킹, 모델 검증과 같은 이동 전략은 AI 생성 콘텐츠에 진정성과 추적 가능성을 사전에 통합하는 데 잠재력이 있다.
• 관계 기반 암호와 공모에 저항하는 디지털 신원은 신뢰할 수 있는 신원과 의사소통 맥락을 연결하는 새로운 접근법을 제공하지만, 확장성과 보안성은 추가 검증이 필요하다.
• 현재의 책임 메커니즘(예: 이용약관, 스크린샷 알림)은 종종 오해되거나 일관성 없이 적용되므로, 더 명확하고 사용자 중심의 약속 도구가 필요하다는 점을 시사한다.
• 많은 제안된 전략들은 오픈소스 AI 생태계에서는 효과적이지 않으며, 분산형 배포로 인해 중앙집중적 정책, 레이트 리밋팅, 인터페이스 제어가 약화되기 때문이다.