[논문 리뷰] The State of NLP Literature: A Diachronic Analysis of the ACL Anthology

Saif M. Mohammad|arXiv (Cornell University)|2019. 11. 08.

Topic Modeling참고 문헌 22인용 수 13

한 줄 요약

이 논문은 2019년 6월 기준 ACL 앙드로이드를 대상으로 한 역동적 분석을 통해 NLP 연구 생산성, 초점 및 영향력의 추세를 조사한다. 약 45,000편의 논문과 구글 색슨 인용 데이터를 활용하여, 지속적인 성별 격차가 드러났다: 2000년 이후 약 30%의 제1저자들이 여성이며, 여성 제1저자들은 학술 연령을 고려한 후에도 남성들보다 유의미하게 적은 인용을 받는다. 이는 NLP 문헌에서 체계적인 인용 편향을 시사한다.

ABSTRACT

The ACL Anthology (AA) is a digital repository of tens of thousands of articles on Natural Language Processing (NLP). This paper examines the literature as a whole to identify broad trends in productivity, focus, and impact. It presents the analyses in a sequence of questions and answers. The goal is to record the state of the AA literature: who and how many of us are publishing? what are we publishing on? where and in what form are we publishing? and what is the impact of our publications? The answers are usually in the form of numbers, graphs, and inter-connected visualizations. Special emphasis is laid on the demographics and inclusiveness of NLP publishing. Notably, we find that only about 30% of first authors are female, and that this percentage has not improved since the year 2000. We also show that, on average, female first authors are cited less than male first authors, even when controlling for experience. We hope that recording citation and participation gaps across demographic groups will encourage more inclusiveness and fairness in research.

연구 동기 및 목표

• ACL 앙드로이드의 NLP 문헌 상태를 분석하여 저자 구성, 연구 초점, 출판 장소 및 인용 영향력의 추세를 이해한다.
• 시간이 지남에 따라 NLP 출판 분야에서의 인구통계적 표현, 특히 성별 다양성을 조사한다.
• 학술 연령과 경험을 고려한 후 남성과 여성 제1저자 간의 인용 격차를 정량화한다.
• 참여도와 인용 영향력에서의 체계적 불평등을 부각시켜 NLP 연구의 포용성과 공정성을 증진한다.

제안 방법

• ACL 앙드로이드(44,896편의 연구 논문)와 구글 색슨(2019년 6월 기준)으로부터 메타데이터 및 인용 데이터를 수집하였다.
• 데이터 시각화 도구(Tableau)를 사용하여 시간 순서 시각화를 통해 출판 추세, 저자 인구통계, 인용 패턴을 상호작용적으로 표현하였다.
• 이름 기반 추론을 통해 제1저자를 성별(남성, 여성, 미확인)으로 분류하였으며, 알려진 성별 분포를 통해 검증하였다.
• 학술 연령(첫 번째 논문 발표 이후 경과 연수)을 고려하여 인용 수를 성별 간 비교하기 위해 통계 분석을 적용하였다.
• 제목 기반 바이그램 분석을 통해 연구 주제를 군집화하여 영향력 있는 분야를 파악하고, 그 분야 내 성별 표현을 평가하였다.
• 국제어회(예: LREC, COLING) 및 연도별로 출판 추세를 추적하여 생산성과 출판 장소 선호도를 평가하였다.

실험 결과

연구 질문

• RQ1 ACL 앙드로이드의 출판 및 저자 수에 있어 시간에 따른 규모와 성장 궤적은 어떠한가?
• RQ2 1965년 이후 NLP 출판물에서 제1저자의 성별 분포는 어떻게 변화해 왔는가?
• RQ3 남성과 여성 제1저자 간에 유의미한 인용 격차가 존재하는가? 그리고 학술 연령을 고려한 후에도 이러한 격차는 지속되는가?
• RQ4 어느 연구 분야에서 성별 인용 격차가 가장 뚜렷한가? 반대로 여성의 평균 인용 수가 남성보다 높은 분야는 있는가?
• RQ5 남성과 여성 저자 간에 학술 경력 단계에 따라 인용 패턴은 어떻게 다를까?

주요 결과

• 2000년 이후 ACL 앙드로이드의 약 30%의 제1저자들이 여성이며, 시간이 지나도 유의미한 개선이 없었다.
• 학술 연령과 경험을 고려한 후에도 여성 제1저자들은 남성 제1저자들보다 유의미하게 적은 인용을 받는다.
• 2000년대 이후로 남성과 여성 제1저자 간 인용 격차는 약간 감소했지만 여전히 통계적으로 유의미하다.
• 가장 인용 빈도가 높은 연구 분야 59개 중 12%(7개)에서 여성의 평균 인용 수가 남성보다 높았으며, 감성 분석과 대화 시스템 분야가 그 예시이다.
• 성별 미확인 제1저자 비율이 시간이 지남에 따라 증가했으며, 이는 더 넓은 글로벌 표현을 반영할 수 있지만, 기존의 불평등을 완전히 상쇄하지 못하고 있다.
• 대부분의 연구 분야에서 인용 격차가 지속되므로, 격차는 저영향력 하위 분야에 여성의 집중 때문이 아니라 체계적인 원인에 기인한다.