[논문 리뷰] Multilingual Persuasion Detection: Video Games as an Invaluable Data Source for NLP

Teemu Pöyhönen, Mika Hämäläinen외 1명|arXiv (Cornell University)|2022. 07. 10.

Digital Games and Media인용 수 5

한 줄 요약

이 논문은 역할 수행 게임(RPGs)에서 추출한 반구성된 대화를 활용하여 다국어 설득 감지 데이터셋을 제안한다. 이는 BERT 기반 자연어 처리(NLP) 모델을 훈련시키기 위해 반구성된 대화를 활용한다. 비디오 게임의 대화는 인간의 최소한의 애너테이션으로도 강력한 성능을 보이며, 설득 감지에 매우 풍부하고 다국어적인 자원임을 입증한다.

ABSTRACT

Role-playing games (RPGs) have a considerable amount of text in video game dialogues. Quite often this text is semi-annotated by the game developers. In this paper, we extract a multilingual dataset of persuasive dialogue from several RPGs. We show the viability of this data in building a persuasion detection system using a natural language processing (NLP) model called BERT. We believe that video games have a lot of unused potential as a datasource for a variety of NLP tasks. The code and data described in this paper are available on Zenodo.

연구 동기 및 목표

• NLP 분야에서 다국어 설득 데이터셋의 부족을 해결하기 위해 활용되지 않는 비디오 게임 대화를 활용한다.
• 구조화된 대화와 게임 개발자가 제공한 애너테이션을 활용한 설득 감지의 가능성 여부를 탐색한다.
• 새로 구축된 다국어 설득 감지 데이터셋에 대해 BERT 기반 모델의 성능을 평가한다.
• 비디오 게임이 NLP 작업을 위한 확장 가능하고 언어적으로 다양한 데이터 소스로 활용될 수 있음을 입증한다.
• 연구의 재현성과 다국어 설득 감지 분야의 향후 연구를 지원하기 위해 데이터셋과 코드를 공개한다.

제안 방법

• 기존에 반구성 애너테이션이 존재하는 역할 수행 게임(RPGs)에서 대화 텍스트를 추출한다.
• 게임 개발자가 제공한 애너테이션과 언어학적 신호를 기반으로 설득적 발언을 식별하고 레이블을 붙인다.
• 국제적으로 출시된 RPG의 대화를 활용하여 여러 언어를 포함하는 다국어 데이터셋을 구축한다.
• 설득 감지의 시퀀스 분류를 위해 추출된 데이터셋에 다국어 BERT 모델(mBERT)을 피지테이닝한다.
• 여러 언어에서 F1 점수와 정확도와 같은 표준 NLP 지표를 사용하여 모델 성능을 평가한다.
• 재현성과 커뮤니티의 재사용을 보장하기 위해 Zenodo에 데이터셋과 코드를 공개한다.

실험 결과

연구 질문

• RQ1 비디오 게임 대화는 다국어 설득 감지 데이터셋으로서 실용적인 자원이 될 수 있는가?
• RQ2 피지테이닝된 다국어 BERT 모델은 여러 언어에서 비디오 게임 대화의 설득을 얼마나 효과적으로 감지하는가?
• RQ3 반구성된 게임 대화는 얼마나 신뢰할 수 있는 지도 신호를 제공하는가?
• RQ4 데이터셋 내 다양한 언어에서 모델의 성능은 어떻게 변하는가?
• RQ5 비디오 게임은 설득 감지 이외의 NLP 작업을 위한 확장 가능하고 다국어적인 데이터 소스로 얼마나 잠재력을 지니는가?

주요 결과

• 추출된 데이터셋은 레이블이 부여된 다국어 대화가 다량 포함되어 있어 다국어 NLP 훈련에 기여한다.
• 피지테이닝된 다국어 BERT 모델은 여러 언어에서 경쟁적인 F1 점수를 달성하여 제로샷 및 피츠샷 전이 학습의 가능성을 입증한다.
• RPG의 설득적 대화는 종종 명확한 언어학적 징후를 보이며, 추가 애너테이션 최소화로도 자동 감지에 적합하다.
• 데이터셋은 언어 간에 뚜렷한 언어학적 다양성을 보이며, 다국어 NLP 시스템 개발을 지원한다.
• 비디오 게임 대화는 확장 가능하고 활용되지 않는 고품질의 맥락 풍부한 텍스트 자원을 제공한다.
• Zenodo에 공개된 데이터셋과 코드는 연구 커뮤니티가 연구를 재현하고 확장할 수 있도록 한다.