[논문 리뷰] Argument Mining Driven Analysis of Peer-Reviews Dataset

Michael Fromm, , Berrendorf외 2명|arXiv (Cornell University)|2020. 12. 10.

Software Engineering Research참고 문헌 26인용 수 6

한 줄 요약

이 논문은 동료 평가에서 핵심 논거를 자동으로 식별하기 위한 논거 마이닝 접근법을 제안하여 편집자와 평가자들이 가장 관련성이 높은 내용에 집중할 수 있도록 한다. 컴퓨터 과학 컨퍼런스에서 수집한 새로운 주석이 부여된 동료 평가 데이터셋을 사용하여, 논거적인 문장들을 선별함으로써 전체 리뷰의 50% 미만의 텍스트로도 수락 예측 성능이 거의 동일하게 달성됨을 보여주며, 이는 동료 평가 결정이 본질적으로 논거 중심임을 입증한다.

ABSTRACT

Argument Mining in Scientific Reviews (AMSR) We release a new dataset of peer-reviews from different computer science conferences with annotated arguments, called AMSR (<strong>A</strong>rgument <strong>M</strong>ining in <strong>S</strong>cientific <strong>R</strong>eviews).<br> <br> The dataset has been crawled by the OpenReview platform (https://openreview.net/) and the OpenReviewCrawler (https://openreview-py.readthedocs.io/en/latest/getting data.html)<br> <br> From 12,135 collected papers and reviews, we sample 77 for the annotation.<br> We use a simple argumentation scheme, which distinguishes between non-arguments, supporting arguments, and attacking arguments, which we denote as NON/PRO/CON accordingly.

연구 동기 및 목표

• 동료 평가의 부담 증가 문제를 해결하기 위해 결론에 영향을 미치는 결정적 논거를 자동으로 추출하는 데 목적을 두며.
• 과학적 출판에서 편집 결정 과정이 논거 중심임을 입증하는 데 목적을 두며.
• 동료 평가의 고유한 언어적 및 구조적 특성에 맞게 맞춤형으로 설계된 논거 마이닝 프레임워크를 개발하고 평가하는 데 목적을 두며.
• 연구 공동체가 이용할 수 있도록 공개된 동료 평가 데이터셋을 제공하는 데 목적을 두며.
• 논거 마이닝 모델의 이식성과 일반화 능력을 다양한 컨퍼런스와 분야 간에 평가하는 데 목적을 두며.

제안 방법

• 논거, 전제, 입장을 라벨링하기 위한 맞춤형 논거 마이닝 체계를 사용하여 컴퓨터 과학 컨퍼런스의 새로운 동료 평가 데이터셋을 주석 처리한다.
• 주석이 부여된 데이터셋을 사용하여 문장 수준의 논거 탐지에 최신 신경망 모델(예: PeerBERT-L)을 훈련하고 평가한다.
• 집계된 평가 세그먼트를 기반으로 논문 수락/기각을 분류하기 위해 ToBERT 기반 모델을 적용한다.
• 전체 리뷰, 상위-k 논거적인 문장, 무작위-k 문장의 세 가지 리뷰 선택 전략을 비교하여 결론 도출 성능을 평가한다.
• 논거성 확률 점수를 사용하여 문장을 우선순위 정렬함으로써 의미 있는 맥락을 유지하고 해석 가능성 확보.
• 모델의 이식성에 대한 광범위한 분석 실험을 수행하여 다양한 분야와 컨퍼런스 간의 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 동료 평가 결정이 일반적인 정보가 아닌 논거적 내용에 얼마나 의존하는가?
• RQ2 논거 마이닝 기법이 편집 결정에 관련된 부분을 식별하는 데 얼마나 효과적인가?
• RQ3 동료 평가 데이터로 미세조정된 모델이 교차 도메인 전이 모델보다 더 뛰어난 성능을 보일 수 있는가?
• RQ4 논거 마이닝 모델이 다양한 컴퓨터 과학 컨퍼런스 간에 얼마나 잘 일반화되는가?
• RQ5 가장 논거적인 문장들만 선택해도 전체 리뷰를 사용한 경우와 유사한 결론 도출 성능를 달성할 수 있는가?

주요 결과

• 논거성 확률 점수 기반으로 상위 50%의 문장을 선택할 경우, 전체 리뷰를 사용한 경우와 거의 동일한 F1 성능을 달성하여 결론 지원의 높은 효율성을 입증한다.
• 동료 평가 도메인은 일반 도메인 논거 마이닝 모델의 이식이 효과적이지 않은 고유한 언어적 및 구조적 특성을 지니며, 이는 도메인 전용 주석 처리와 훈련이 필수적임을 시사한다.
• 주석이 부여된 데이터셋에서 논거적 내용의 비율은 60%에 이르며, 이는 논거가 결론 도출 과정의 핵심임을 확인한다.
• 동료 평가 데이터로 미세조정된 모델가 교차 도메인 전이 모델보다 유의미하게 뛰어난 성능을 보이며, 이는 높은 성능을 위해 도메인 적응이 필수적임을 시사한다.
• 논거 마이닝의 활용은 추출된 논거가 원본 리뷰의 맥락에 고정되어 있으며 강조 가능하므로, 설명 가능한 결론 지원이 가능하다.
• 무작위 문장 선택은 논거 기반 선택보다 유의미하게 열등한 성능을 보이며, 이는 논거성이라는 신호가 결론의 관련성에 의미 있는 정보임을 확인한다.