[논문 리뷰] Heroes, Villains, and Victims, and GPT-3: Automated Extraction of Character Roles Without Training Data

Dominik Stammbach, Maria Antoniak외 1명|arXiv (Cornell University)|2022. 05. 16.

Topic Modeling인용 수 2

한 줄 요약

이 논문은 레이블이 없는 훈련 데이터가 전혀 필요 없는 제로샷, 프롬프트 기반 방법을 제안하며, GPT-3를 사용해 서사 텍스트에서 영웅, 악역, 피해자 역할을 추출한다. 특정 질문 예를 들어 '누가 영웅입니까?'와 같이, 캐릭터 역할 식별을 기계적 독해 이해 과제로 재구성함으로써, 천연가스 채굴 뉴스 코퍼스에서 사전 기반 기준보다 두 배 이상 높은 정확도를 달성했으며, 정치적 논의와 미디어에서의 확장 가능한 서사 분석을 가능하게 한다.

ABSTRACT

This paper shows how to use large-scale pre-trained language models to extract character roles from narrative texts without training data. Queried with a zero-shot question-answering prompt, GPT-3 can identify the hero, villain, and victim in diverse domains: newspaper articles, movie plot summaries, and political speeches.

연구 동기 및 목표

• 도메인 내 레이블이 있는 훈련 데이터가 필요 없이 서사 텍스트에서 영웅, 악역, 피해자 역할을 자동으로 추출하는 방법을 개발하는 것.
• 특히 GPT-3와 같은 대규모 사전 훈련된 언어 모델이 뉴스 기사, 영화 요약, 정치 연설 등 다양한 도메인에서 서사 아키텍처를 식별하는 데 얼마나 효과적인지 평가하는 것.
• 컴putational social science 및 디지털 인문학 연구에서 서사 프레임 분석을 위한 제로샷 프롬프팅의 가능성을 탐색하는 것.
• 다양한 코퍼스를 대상으로 정량적 및 정성적 평가를 통해 GPT-3의 출력이 얼마나 강인하고 해석 가능하는지 평가하는 것.
• GPT-3의 레이블링 결과를 사용해 미국의 국정연설에서 정당 소속에 따라 서사 프레임의 차이를 분석함으로써 파벌 차이를 탐색하는 것.

제안 방법

• 캐릭터 역할 식별을 기계적 독해 이해 과제(MRCP)로 재구성하며, 입력은 서사 텍스트이고 질문은 '이 텍스트에서 영웅은 누구입니까?'와 같은 제로샷 프롬프트이다.
• GPT-3를 사용해 레이블 예시나 미세조정 없이 프롬프트에 기반해 입력 텍스트에서 직접 답변을 생성한다.
• 여러 개체가 동일한 역할에 할당될 경우의 모호성을 줄이고 해석 가능성을 향상시키기 위해 GPT-3의 출력에 클러스터링 기법을 적용한다.
• 비교를 위해 사전 기반 기준을 사용하며, 이는 사전 정의된 키워드와 의미 패턴에 의존한다.
• 수동으로 레이블링된 천연가스 관련 뉴스 기사 코퍼스를 사용해 표준 분류 지표로 성능을 평가한다.
• 대규모 미국 국정연설 코퍼스(2001–2018)에 이 방법을 적용해 캐릭터 역할 할당 결과를 대통령 소속 정당과 연결하여 비교 분석한다.

실험 결과

연구 질문

• RQ1 GPT-3는 레이블이 없는 훈련 데이터가 전혀 없이 서사 텍스트에서 영웅, 악역, 피해자 역할을 정확하게 식별할 수 있는가?
• RQ2 GPT-3를 사용한 제로샷 프롬프팅 접근 방식은 기존의 사전 기반 기준보다 성능이 얼마나 뛰어나게 되는가?
• RQ3 정치적 논의의 서사 프레임 맥락에서 GPT-3의 출력이 의미적으로 클러스터링되고 해석 가능한 정도는 어느 정도인가?
• RQ4 미국 대통령의 국정연설에서 영웅, 악역, 피해자에 대한 서사 프레임에 파벌 간의 뚜렷한 차이가 존재하는가?
• RQ5 특히 편향과 비용 측면에서, GPT-3와 같은 대규모 언어 모델을 사용한 서사 역할 추출의 한계는 무엇인가?

주요 결과

• 수동으로 레이블링된 천연가스 관련 뉴스 기사 코퍼스에서, GPT-3의 제로샷 프롬프팅 방법은 사전 기반 기준보다 F1 스코어가 두 배 이상 높았다.
• 디즈니 영화 줄거리의 정성적 분석에서 GPT-3의 역할 할당 결과는 주관적인 서사 기대와 잘 부합했으며, 이는 해석 가능성과 일관성을 보여주었다.
• 미국 국정연설(2001–2018)에 적용했을 때, 이 방법은 대통령 소속 정당에 따라 서사 프레임에 체계적인 차이를 드러내었으며, 정당 간 캐릭터 역할 할당의 파벌 차이를 시사했다.
• GPT-3 출력의 클러스터링은 특히 에이전트 참조가 제한적이거나 모호한 텍스트에서 역할 할당의 이해 가능성과 일관성을 향상시켰다.
• 한 명의 명시적 에이전트가 있는 연설에서 GPT-3는 종종 동일한 실체를 여러 역할(예: 영웅 및 악역)에 할당했으며, 상호 배타성을 다루기 위해 프롬프트 수정이 필요함을 시사했다.
• 강력한 성능에도 불구하고, 이 방법은 GPT-3가 사회적 편향을 내재하고 전파할 수 있다는 점과, 대규모 코퍼스에 확장할 경우 높은 추론 비용이 발생한다는 점에서 한계를 지닌다.