[논문 리뷰] Analyzing Linguistic Complexity and Scientific Impact

Chao Lu, Yi Bu외 7명|arXiv (Cornell University)|2019. 07. 27.

Topic Modeling참고 문헌 43인용 수 7

한 줄 요약

이 연구는 36,400편의 생물학 및 1,797편의 심리학 전문 논문을 대상으로 12개의 언어적 복잡도 특징을 분석하여 언어적 복잡도와 과학적 영향력 간의 관계를 조사한다. 여러 텍스트 복잡도 측정법을 분석했음에도 불구하고, 어느 분야에서도 언어적 복잡도와 인용 기반 영향력 수준 간에 실질적으로 유의미한 상관관계를 발견하지 못했으며, 이는 언어적 복잡도가 이 데이터셋 내 과학적 영향력에 있어 최소한의 역할을 한다는 것을 시사한다.

ABSTRACT

The number of publications and the number of citations received have become the most common indicators of scholarly success. In this context, scientific writing increasingly plays an important role in scholars' scientific careers. To understand the relationship between scientific writing and scientific impact, this paper selected 12 variables of linguistic complexity as a proxy for depicting scientific writing. We then analyzed these features from 36,400 full-text Biology articles and 1,797 full-text Psychology articles. These features were compared to the scientific impact of articles, grouped into high, medium, and low categories. The results suggested no practical significant relationship between linguistic complexity and citation strata in either discipline. This suggests that textual complexity plays little role in scientific impact in our data sets.

연구 동기 및 목표

• 과학적 논문에서 언어적 복잡도가 고영향력 학술지의 학술적 영향력과 관련이 있는지 조사하기.
• 전체 과학 논문에서 12개의 특정 언어적 복잡도 특징을 식별하고 측정하기.
• 생물학 및 심리학 분야에서 고, 중, 저인용 수준 간의 이러한 언어적 특징을 비교하기.
• 텍스트 복잡도가 인용 수, 과학적 영향력의 핵심 지표에 영향을 미치는지 평가하기.

제안 방법

• 연구는 36,400편의 전문 논문 생물학 논문과 1,797편의 전문 논문 심리학 논문에서 12개의 언어적 복잡도 특징을 추출하였다.
• 언어적 복잡도는 문장 길이, 어휘 빈도, 문법 다양성과 같은 문법적, 어휘적, 논의 수준의 특징을 사용하여 측정되었다.
• 논문은 인용 수에 따라 고, 중, 저인용 수준으로 그룹화되었다.
• 통계적 분석을 통해 인용 범주 간 언어적 특징의 유의미한 차이를 탐지하기 위해 비교 분석을 실시하였다.
• 비모수적 검정을 사용하여 영향 수준 간 언어적 복잡도의 차이가 실질적으로 유의미한지 평가하였다.
• 포괄적인 언어적 특징 추출을 보장하기 위해 연구는 전문 논문에 집중하였다.

실험 결과

연구 질문

• RQ1 생물학 및 심리학 논문에서 언어적 복잡도와 과학적 영향력 간에 유의미한 관계가 있는가?
• RQ2 높은 인용 수를 기록한 논문이 낮은 인용 수를 기록한 논문보다 더 높은 언어적 복잡도를 보이는가?
• RQ3 인용 기반 영향력과 가장 강하게 연관된 특정 언어적 특징은 무엇인가?
• RQ4 언어적 복잡도와 과학적 영향력 간의 관계가 과학 분야에 따라 달라지는가?
• RQ5 언어적 복잡도는 학술 출판에서 학술적 영향력의 의미 있는 예측 변수인가?

주요 결과

• 생물학 및 심리학 논문 어느 곳에서도 언어적 복잡도와 인용 수준 간에 실질적으로 유의미한 관계를 발견하지 못했다.
• 12개의 언어적 복잡도 특징은 두 분야의 고, 중, 저인용 그룹 간에 최소한의 변동성을 보였다.
• 통계적 검정 결과, 고인용 논문에서 복잡도가 높아지는 일관된 패턴은 발견되지 않았다.
• 인용 수준 간 언어적 복잡도의 차이에 대한 효과 크기는 극히 미미하여 실질적 유의미성이 낮음을 시사했다.
• 언어적 복잡도는 분석된 데이터셋에서 과학적 영향력의 신뢰할 수 있는 예측 변수로 기능하지 않았다.
• 결과적으로, 논문의 신선함이나 방법론적 엄밀함과 같은 텍스트 복잡도를 초월한 요소들이 과학적 영향력의 주요 원인일 가능성이 높다.