[논문 리뷰] Few-Shot Character Understanding in Movies as an Assessment to Meta-Learning of Theory-of-Mind

Mo Yu, Wang, Qiujing외 9명|arXiv (Cornell University)|2022. 11. 09.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 자연주의적 내러티브 이해를 위한 이론적 마음 모델링(ToM)의 소수 샘플 메타러닝 평가를 위한 최초의 벤치마크인 ToM-in-AMC를 소개한다. 다수의 ToM 차원—신념, 욕망, 의도, 감정—을 명시적으로 모델링하는 새로운 ToM 프롬프팅 프레임워크를 제안하여 최신 성능을 달성하지만, 여전히 인간 성능보다 20퍼센트 이상 뒤처지며 현재의 LLM 및 메타러닝 모델의 ToM 능력에 심각한 격차가 있음을 드러낸다.

ABSTRACT

When reading a story, humans can quickly understand new fictional characters with a few observations, mainly by drawing analogies to fictional and real people they already know. This reflects the few-shot and meta-learning essence of humans' inference of characters' mental states, i.e., theory-of-mind (ToM), which is largely ignored in existing research. We fill this gap with a novel NLP dataset, ToM-in-AMC, the first assessment of machines' meta-learning of ToM in a realistic narrative understanding scenario. Our dataset consists of ~1,000 parsed movie scripts, each corresponding to a few-shot character understanding task that requires models to mimic humans' ability of fast digesting characters with a few starting scenes in a new movie. We propose a novel ToM prompting approach designed to explicitly assess the influence of multiple ToM dimensions. It surpasses existing baseline models, underscoring the significance of modeling multiple ToM dimensions for our task. Our extensive human study verifies that humans are capable of solving our problem by inferring characters' mental states based on their previously seen movies. In comparison, our systems based on either state-of-the-art large language models (GPT-4) or meta-learning algorithms lags >20% behind, highlighting a notable limitation in existing approaches' ToM capabilities.

연구 동기 및 목표

• 기존에 존재하지 않는 실제적이고 소수 샘플 기반의 벤치마크가 부족한 문제를 해결하기 위해, 내러티브 이해에서 기계의 이론적 마음 모델링(ToM) 메타러닝 평가를 위한 기반을 마련하고자 한다.
• 모델이 최소한의 초반 장면만으로도 인간처럼 빠르게 캐릭터의 정신 상태(신념, 욕망, 의도, 감정)를 추론할 수 있는지 평가하고자 한다.
• 단순한 성격 분류나 대화 생성을 넘어서, 여러 차원의 ToM을 포괄하는 종합적인 평가 프레임워크를 개발하고자 한다.
• 현재 최신 모델들(예: GPT-4, 메타러닝 알고리즘)이 실제 스토리 맥락에서 복잡하고 동적인 캐릭터의 정신 상태를 추론하는 데에 얼마나 제한되어 있는지 규명하고 정량화하고자 한다.
• 영화 각본을 자연스럽고 풍부한 내러티브 추론 과제의 원천으로 활용하여, NLP 분야에서 ToM 평가의 새로운 기준을 설정하고자 한다.

제안 방법

• 저자들은 약 1,000개의 해체된 영화 각본으로 구성된 데이터셋을 구축하였으며, 각각의 각본은 첫 번째 몇 장면만을 맥락으로 사용하여 소수 샘플 캐릭터 이해 과제로 변환되었다.
• 각 과제는 모든 화자들이 익명화된 장면에서 대화의 화자를 특정해야 하며, 최소한의 이전 노출만으로도 인간의 소수 샘플 추론를 모방한다.
• 신념, 욕망, 의도, 감정의 네 가지 ToM 차원을 명시적으로 평가하고 기반할 수 있도록 새로운 ToM 프롬프팅 접근법을 도입하였다.
• 모델의 반응이 캐릭터의 정신 상태에 대해 추론하도록 유도하기 위해 구조화된 프롬프팅을 사용하였으며, 유사한 캐릭터에 대한 이전 지식 기반의 유추적 추론에 중점을 두었다.
• 데이터셋은 메타학습 및 메타테스트 세트로 분할되어, 모델이 몇 장면만 본 후에도 새로운 영화에 일반화할 수 있도록 메타러닝 평가가 가능하도록 하였다.
• 성능 평가는 인간 연구와 강력한 베이스라인(예: 인라인 컨텍스트 학습을 적용한 GPT-4, ProtoNet 및 LEOPARD와 같은 메타러닝 모델)과의 비교를 통해 수행되었다.

실험 결과

연구 질문

• RQ1 모델은 인간처럼 유사한 캐릭터에 대한 이전 지식을 활용하여, 몇 장면만으로도 새로운 내러티브 캐릭터에 일반화할 수 있는가?
• RQ2 현재의 대규모 언어 모델(GPT-4 등)과 메타러닝 알고리즘이 내러티브 맥락에서 다차원적인 이론적 마음 모델링 추론을 얼마나 잘 구현하는가?
• RQ3 다양한 내러티브 장르와 화자 수는 소수 샘플 캐릭터 이해 과제의 난이도에 어떤 영향을 미치는가?
• RQ4 최소한의 내러티브 입력에서 복잡한 캐릭터 정신 상태를 추론할 때 인간 추론과 기계 모델 간의 성능 격차는 어느 정도인가?
• RQ5 신념, 욕망, 의도, 감정을 명시적으로 모델링하는 구조화된 ToM 프롬프팅 프레임워크는 소수 샘플 캐릭터 이해 성능을 크게 향상시킬 수 있는가?

주요 결과

• 모든 테스트된 모델이 ToM-in-AMC 벤치마크에서 인간보다 20퍼센트 이상 뒤져, 현재 모델들의 이론적 마음 모델링 능력에 심각한 격차가 있음을 시사한다.
• 제안된 ToM 프롬프팅 접근법은 기존의 베이스라인을 초월하여, 내러티브 추론에서 다수의 ToM 차원을 명시적으로 모델링하는 것이 중요함을 입증한다.
• 인라인 컨텍스트 학습을 적용한 GPT-4는 높은 성능(2명 화자 장면에서 86.5%)을 기록했지만, 특히 드라마 및 호러 장르에서 인간 성능에 뒤져 있음을 확인하였다.
• 장르에 따라 성능에 상당한 격차가 있으며, 액션 장르(98.4%)와 러브스토리 장르(94.7%)에서 가장 높은 점수를 기록했고, 드라마 장르(91.8%)와 코미디 장르(86.3%)에서 가장 낮은 점수를 기록하여 장르 기반의 추론 과제 도전 과제가 있음을 시사한다.
• 화자 수가 증가할수록 성능 격차가 커진다: GPT-4 ToMPro는 1명 화자 장면에서 90.0%의 성능을 기록했지만, 4명 화자 장면에서는 82.1%로 하락하고 5명 화자 장면에서는 90.0%로 회복되며 스케일링 문제를 보여준다.
• 연구는 모델들이 맥락에서 전반적인 캐릭터 특성(예: 기술적 숙련도)을 추론하는 데에 종종 실패함을 확인하였으며, 타일러가 숙련된 작전원임을 인지하지 못한 나쁜 사례(예: 매트릭스)에서 이를 확인할 수 있다.