[논문 리뷰] Classification of Research Citations (CRC)

Bilal Hayat Butt, Muhammad Rafi외 4명|arXiv (Cornell University)|2015. 06. 30.

Advanced Malware Detection Techniques참고 문헌 11인용 수 10

한 줄 요약

이 논문은 연구 인용문을 긍정 또는 부정 감성으로 분류하는 자동화된 방법을 제안한다. 이 방법은 인용문 주변 5문장의 문맥 창을 사용하고, 감성 어휘와 함께 나이브 베이즈 분류기를 적용한다. 150편의 컴퓨터 과학 분야 논문에서 평가한 결과, 정확도가 80%에 도달하여 과학적 문헌 분석 분야에서의 다학제적 응용 가능성을 보여준다.

ABSTRACT

Research is a continuous phenomenon. It is recursive in nature. Every research is based on some earlier research outcome. A general approach in reviewing the literature for a problem is to categorize earlier work for the same problem as positive and negative citations. In this paper, we propose a novel automated technique, which classifies whether an earlier work is cited as sentiment positive or sentiment negative. Our approach first extracted the portion of the cited text from citing paper. Using a sentiment lexicon we classify the citation as positive or negative by picking a window of at most five (5) sentences around the cited place (corpus). We have used Naïve-Bayes Classifier for sentiment analysis. The algorithm is evaluated on a manually annotated and class labelled collection of 150 research papers from the domain of computer science. Our preliminary results show an accuracy of 80%. We assert that our approach can be generalized to classification of scientific research papers in different disciplines.

연구 동기 및 목표

• 문헌 리뷰 및 인용 분석을 지원하기 위해 연구 인용문을 긍정 또는 부정 감성으로 자동 분류하는 것을 목적으로 한다.
• 감성 분류 정확도 향상을 위해 인용문 주변의 문맥 텍스트를 추출하는 것을 목적으로 한다.
• 수동으로 애너테이션된 인용 데이터셋에 대해 나이브 베이즈 분류기와 감성 어휘를 조합한 성능을 평가하는 것을 목적으로 한다.
• 이 방법이 다양한 과학 분야로 일반화 가능한지를 평가하는 것을 목적으로 한다.
• 학술 문헌에서 지지적 또는 비판적 인용을 식별하기 위한 확장 가능한 솔루션을 제공하는 것을 목적으로 한다.

제안 방법

• 이 방법은 인용문이 포함된 논문에서 각 인용문 주변 최대 5문장의 문맥 창을 추출한다.
• 추출된 문맥 창의 감성을 분석하기 위해 감성 어휘를 적용한다.
• 근거 문맥의 감성 점수를 기반으로 나이브 베이즈 분류기가 인용문을 긍정 또는 부정으로 분류하도록 훈련된다.
• 라벨이 부여된 학습 및 평가 데이터셋을 만들기 위해 컴퓨터 과학 분야의 150편의 연구 논문을 수동으로 애너테이션한다.
• 인용문의 즉각적인 텍스트 환경에 중점을 두어, 문맥을 문서로 간주하여 감성 분류를 수행한다.
• 인용 자체가 아니라 국소적 문맥 내의 어휘적 감성 신호에 기반해 감성을 평가한다.

실험 결과

연구 질문

• RQ1 문맥 인식 감성 분석 접근법이 연구 인용문을 긍정 또는 부정으로 효과적으로 분류할 수 있는가?
• RQ2 감성 어휘를 사용한 문맥에 적용된 나이브 베이즈 분류기의 정확도는 어떠한가?
• RQ3 인용문 주변 5문장 창의 포함이 분류 성능 향상에 어느 정도 기여하는가?
• RQ4 이 방법은 컴퓨터 과학 외의 다른 과학 분야로 일반화될 수 있는가?
• RQ5 국소적 텍스트적 문맥은 지지적 인용과 비판적 인용을 구분하는 데 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 컴퓨터 과학 분야의 수동 애너테이션된 150편의 논문 데이터셋에서 80%의 정확도를 달성했다.
• 5문장의 문맥 창 사용이 인용 주변의 논리적 의도를 포착함으로써 감성 분류 성능을 크게 향상시켰다.
• 감성 어휘와 조합된 나이브 베이즈 분류기는 인용 감성 분석에서 뛰어난 성능을 보였다.
• 결과적으로 국소적 텍스트적 문맥과 어휘적 감성 자원을 활용한 인용 감성 분류가 가능하다는 것이 확인되었다.
• 이 방법은 학술 문헌 분석 및 인용 기반 연구 평가의 자동화에 유망한 전망을 보였다.
• 본 연구는 다른 과학 분야로의 인용 감성 분석 확장에 기초를 마련했다.