[논문 리뷰] Inter-rater Agreement on Sentence Formality

Shibamouli Lahiri, Xiaofei Lu|arXiv (Cornell University)|2011. 09. 01.

Natural Language Processing Techniques참고 문헌 11인용 수 5

한 줄 요약

이 연구는 문장의 형식성에 대해 1-5점 리커트 척도를 사용하여 평가자 간 일치도를 평가하며, 이중 분류보다 유의미하게 향상된 신뢰성을 입증한다. 다양한 텍스트 장르(블로그, 포럼, 뉴스, 논문) 간 형식성 분포의 차이를 규명하고 평가자 편향을 드러내며, 자동 문장 수준의 형식성 평가 시스템을 훈련하고 평가하기 위한 검증된 인간 레이팅 문장 세트를 제공한다.

ABSTRACT

Formality is one of the most important dimensions of writing style variation. In this study we conducted an inter-rater reliability experiment for assessing sentence formality on a five-point Likert scale, and obtained good agreement results as well as different rating distributions for different sentence categories. We also performed a difficulty analysis to identify the bottlenecks of our rating procedure. Our main objective is to design an automatic scoring mechanism for sentence-level formality, and this study is important for that purpose.

연구 동기 및 목표

• 1-5점 리커트 척도를 사용한 문장 수준의 형식성 레이팅에서 평가자 간 일치도를 평가하기 위해.
• 등급 척도가 이중 분류(형식적/비형식적)보다 일치도를 향상시키는지 조사하기 위해.
• 일치도를 낮추고 평가자 일관성을 해치는 문제적 문장 유형을 규명하기 위해.
• 자동 문장 수준의 형식성 평가 시스템을 훈련하고 평가하기 위해 사용할 수 있는 인간 레이팅 문장 세트를 생성하기 위해.
• 블로그, 포럼, 뉴스, 학술 논문 텍스트에서 장르 기반의 형식성 레이팅 분포의 차이를 분석하기 위해.

제안 방법

• 형식성에 대해 1-5점 리커트 척도를 사용: 1(매우 비형식적), 2(비형식적), 3(중간), 4(형식적), 5(매우 형식적), X(확신 없음).
• 두 단계로 구성된 레이팅 연구를 수행: 평가자가 함께 있는 100문장의 예비 단계와 이후 독립적으로 작업하는 500문장의 본격 단계.
• 형식성 기준에 대한 지침 없이, 유사성과 독립성을 유지하도록 지시한 영어 모국어인 대학생 여성 평가자 2명을 활용.
• 평가자 간 일치도와 분포 차이를 평가하기 위해 프라이어스의 카파 및 기타 비모수적 검정(크루스칼-월리스 검정, U검정, 콜모고로프-스미르노프 검정)을 적용.
• 문제의 어려움 분석을 위해 'X'로 표기되거나 평가자 간 점수 차이가 ≥2점인 문장을 식별.
• 자동 시스템 평가를 위한 훈련 목적으로 사용할 수 있도록 500개의 인간 레이팅 문장 세트를 수집하고 보존.

실험 결과

연구 질문

• RQ1 1-5점 리커트 척도를 사용한 문장 형식성 평가가 이중 분류보다 평가자 간 일치도를 향상시키는가?
• RQ2 블로그, 포럼, 뉴스, 학술 논문와 같은 장르 간 형식성 레이팅 분포가 유의미하게 다른가?
• RQ3 어느 유형의 문장이 일관성 있게 평가하기 가장 어려운가? 평가자 간 불일치의 원인은 무엇인가?
• RQ4 평가자들이 중심 경향성 편향 또는 체계적인 차이를 보이는 정도는 어느 정도인가?
• RQ5 자동 형식성 평가 시스템에 사용할 수 있는 인간 레이팅 문장 세트를 신뢰성 있게 생성할 수 있는가?

주요 결과

• 평가자 간 일치도에 대한 전체 프라이어스의 카파는 0.586로 중간 이상의 일치도를 보이며, 통계적으로 유의미하다(p < 0.005).
• 이전의 이중 분류 연구보다 평가자 간 일치도가 유의미하게 높았으며(예: κ_blog = 0.164), 등급 척도의 유용성을 입증한다.
• 평가자 1은 평균 3.1점으로 평가자 2(평균 2.85점)보다 더 형식적으로 평가했으며, 통계적으로 유의미한 차이가 있었다(p < 0.05).
• 형식성 레이팅 분포는 장르 간에 유의미하게 다름(p < 0.05), 논문이 가장 형식적이며, 뉴스, 블로그, 포럼의 순서로 이어졌다.
• 문제의 어려움 분석 결과, 5%의 문장(25/500)이 시스템 메시지, 불완전 문장, 또는 병합된 문장으로 인해 'X'로 표기되었고, 8%의 문장(40/500)은 평가자 간 점수 차이가 ≥2점였다.
• 이 연구는 자동 문장 수준의 형식성 평가 시스템을 훈련하고 평가하기에 적합한 신뢰성 있는 500개의 인간 레이팅 문장 세트를 생성하였다.