[논문 리뷰] The Great Misalignment Problem in Human Evaluation of NLP Methods

Mika Hämäläinen, Khalid Alnajjar|arXiv (Cornell University)|2021. 04. 12.

Natural Language Processing Techniques참고 문헌 9인용 수 11

한 줄 요약

이 논문은 NLP 인간 평가에서 발생하는 '큰 괴리 문제(Great Misalignment Problem)'를 규명한다. 이는 10篇의 ACL 2020 논문에서 문제 정의, 제안된 방법, 평가 절차 간에 빈번히 일치하지 않는 현상이다. 유일하게 전체 일치를 달성한 논문이 있었을 뿐이며, 이는 복제 가능성과 타당성에 심각한 결함을 초래하고 있음을 시사한다.

ABSTRACT

We outline the Great Misalignment Problem in natural language processing research, this means simply that the problem definition is not in line with the method proposed and the human evaluation is not in line with the definition nor the method. We study this misalignment problem by surveying 10 randomly sampled papers published in ACL 2020 that report results with human evaluation. Our results show that only one paper was fully in line in terms of problem definition, method and evaluation. Only two papers presented a human evaluation that was in line with what was modeled in the method. These results highlight that the Great Misalignment Problem is a major one and it affects the validity and reproducibility of results obtained by a human evaluation.

연구 동기 및 목표

• NLP 연구에서 문제 정의, 방법, 인간 평가 간의 괴리 정도를 조사하기 위해.
• 최상위 컨ferenced의 실제 사례 분석을 통해 인간 평가의 타당성과 복제 가능성 평가하기 위해.
• 특히 자연어 생성(NLG) 논문에서 인간 평가 관행의 방법론적 엄밀함 부족을 부각하기 위해.
• 문제, 방법, 평가 간의 일치를 확보하는 체계적이고 명확히 정의된 인간 평가 접근법을 촉진하기 위해.
• NLP 연구의 신뢰성과 복제 가능성 향상을 위해 인간 평가 방법론의 표준을 향상시키기 위해.

제안 방법

• 인간 평가를 포함한 ACL 2020 논문 10편을 무작위로 선정해 설문 조사 수행.
• 다섯 가지 기준으로 각 논문 평가: 문제 정의와 방법 간 일치, 평가와 정의 간 일치, 평가와 방법 간 일치, 평가와 주제 간 일치, 평가 보고서의 완전성.
• 문제 정의가 구체적이고 좁혀져 있는지 평가하기 위해 구조화된 척도 사용 (예: '시 생성'뿐 아니라 운율, 운율 등 기준 포함).
• 평가 질문이 정의된 문제의 요소와 제안된 방법의 능력을 반영하고 있는지 평가.
• 평가 질문의 명확성과 구체성, 평가자 선정, 작업 지침, 평가자 수 분석.
• 개인을 특정하지 않도록 匿명화된 보고 방식을 사용해 괴리 패턴을 식별함.

실험 결과

연구 질문

• RQ1 인간 평가를 포함한 NLP 논문에서 문제 정의, 제안된 방법, 인간 평가 간 일치 정도는 어느 정도인가?
• RQ2 평가 질문이 정의된 문제와 모델의 의도된 능력을 얼마나 잘 반영하고 있는가?
• RQ3 인간 평가를 사용한 NLP 논문 중 문제, 방법, 평가 간 전체 일치를 달성한 비율은 얼마인가?
• RQ4 모호한 문제 정의와 잘 정의되지 않은 평가 절차 등의 문제들이 인간 평가 결과의 타당성에 어떤 영향을 미치는가?
• RQ5 괴리 현상이 NLP 연구의 복제 가능성과 신뢰성에 어떤 함의를 지닌다?

주요 결과

• 조사한 ACL 2020 논문 10편 중 유일하게 문제 정의, 방법, 인간 평가 간 전체 일치를 달성한 논문이 하나뿐이었다.
• 조사된 논문의 90%에서 인간 평가가 제안된 방법과 일치하지 않아 근본적인 괴리가 존재함을 시사.
• 오직 두 편의 논문에서 문제 정의와 방법 양쪽과 평가가 일치함을 확인, 괴리 현상이 광범위하게 존재함을 시사.
• 많은 논문에서 명확한 문제 정의가 부재했으며, 오직 한 편의 논문(논문 3)만이 방법과 평가를 이끌어내는 좁은 범위의 정의를 제공함.
• 평가 질문이 종종 너무 추상적이거나 일반적이었으며, 특히 NLG 과제에서 주관적이고 신뢰할 수 없는 결과를 초래함.
• 평가 관행에 상당한 변동성이 존재함을 발견: 평가자 수(3명에서 30명)의 차이, 평가 질문, 지침, 선정 기준의 보고 부족 등.