[논문 리뷰] "Sharks are not the threat humans are": Argument Component Segmentation in School Student Essays

Tariq Alhindi, Debanjan Ghosh|arXiv (Cornell University)|2021. 03. 08.

Topic Modeling참고 문헌 55인용 수 6

한 줄 요약

이 논문은 전통적인 파ip라인 분할 방식을 회피하기 위해 중학생 에세이의 주장을 식별하기 위한 토큰 수준 분류 접근법을 제안한다. 다중 작업 BERT 모델을 사용하여 토큰과 문장 수준의 분류를 동시에 수행함으로써, 특징 기반 방법 대비 7.5%의 정확도 향상을 달성하였으며, 학생 글에서 흔히 볼 수 있는 복잡한, 연결된 문장 및 다중 주장 문장에 대해 뚜렷한 성능 향상을 보였다.

ABSTRACT

Argument mining is often addressed by a pipeline method where segmentation of text into argumentative units is conducted first and proceeded by an argument component identification task. In this research, we apply a token-level classification to identify claim and premise tokens from a new corpus of argumentative essays written by middle school students. To this end, we compare a variety of state-of-the-art models such as discrete features and deep learning architectures (e.g., BiLSTM networks and BERT-based architectures) to identify the argument components. We demonstrate that a BERT-based multi-task learning architecture (i.e., token and sentence level classification) adaptively pretrained on a relevant unlabeled dataset obtains the best results

연구 동기 및 목표

• 중학생 에세이에 자주 나타나는 연결된 문장, 문장당 다중 주장, 근거 없는 주장 등으로 인해 논증 구성 요소를 식별하는 데 어려움이 존재하는 문제를 해결하기 위해.
• 파이프라인 방법의 한계를 극복하고, 논증 분할과 구성 요소 분류를 하나의 토큰 수준 분류 작업으로 통합하기 위해.
• 중학생 글쓰기에서 주장과 전제를 식별하는 데 있어 이산적 특징, BiLSTM, BERT 기반 모델의 성능을 평가하기 위해.
• 문장 수준의 지도 학습을 통한 다중 작업 학습이 복잡하고 비표준적인 글쓰기에서 토큰 수준의 분류 성능을 향상시키는지 조사하기 위해.
• 향후 교육적 논증 마이닝 연구를 위한 새로운 145편의 중학생 논증 에세이 어노테이션 코퍼스를 공개하기 위해.

제안 방법

• 주장(예: B-Claim, I-Claim)과 전제(예: B-Premise, I-Premise)를 표기하기 위해 BIO 표기법을 사용한 토큰 수준의 시퀀스 분류 프레임워크.
• 세 가지 모델링 접근 방식의 비교: 수작업 특징을 사용한 CRF, BiLSTM, 그리고 미세조정 및 다중 작업 변형을 포함한 BERT 기반 모델.
• 모델이 토큰 수준의 논증 구성 요소와 문장 수준의 논증 존재 여부(이元 분류)를 동시에 예측하도록 다중 작업 학습 목표를 구현.
• 학습 중 주 토큰 분류 작업과 보조 문장 분류 작업 간의 균형을 맞추기 위해 불확실성 기반 손실 가중치를 사용.
• 약한 레이블이 없는 관련 데이터셋에서 BERT 모델을 사전 미세조정한 후, 어노테이션된 에세이 코퍼스에서의 미세조정을 수행.
• 연결된 문장, 문장당 다중 주장, 'though' 또는 'because'와 같은 논증 마커 등에 초점을 맞춘 실패 케이스의 정성적 분석.

실험 결과

연구 질문

• RQ1 톆크 및 문장 수준의 공동 분류 접근 방식이 중학생 에세이의 논증 구성 요소 식별에서 기존의 파이프라인 방법을 능가할 수 있는가?
• RQ2 이산적 특징, BiLSTM, BERT 등 서로 다른 아키텍처가 학생 글쓰기에서 논증 구성 요소 분할 작업에 어떻게 성능을 내는가?
• RQ3 문장 수준의 지도 학습을 통한 다중 작업 학습이 복잡하고 비표준적인 글쓰기에서 주장과 전제 식별에 얼마나 향상시키는가?
• RQ4 모델의 주요 실패 원인은 무엇인가, 특히 연결된 문장과 한 문장에 다중 주장이 포함된 경우에 대해 어떻게 나타나는가?
• RQ5 'though' 또는 'because'와 같은 논증 마커가 모델 예측에 어떻게 영향을 주며, 이러한 마커를 주장 경계로 올바르게 구분할 수 있는가?

주요 결과

• 다중 작업 BERT 모델이 가장 높은 성능을 보였으며, 가장 우수한 이산적 특징 기반 CRF 모델 대비 7.5%p의 정확도 향상을 달성하였다.
• 다중 작업 모델은 단일 작업 모델이 놓친 주장을 성공적으로 식별하였다. 예를 들어, 복잡한 문장 내에서 '[many more negative effects that come with social media…]'라는 주장을 놓치지 않고 식별하였다.
• 다중 작업 모델은 비논증 문장(예: 'internet’s social networks help teens find communities')과 의견 문장을 잘못된 주장으로 분류하는 것을 줄였으며, 이를 통해 가짜 양성 결과를 감소시켰다.
• 다중 주장이 포함된 연결된 문장에서는 어려움을 겪었으며, 일반적으로 여러 개의 주장을 하나의 주장으로 통합하거나, 쉼표 뒤에 오는 'each'와 같은 단어에서 잘못된 주장 시작 지점을 식별하였다.
• 논증 마커인 'though' 또는 'because'를 자주 주장 시작 지점으로 잘못 분류하여, 이러한 마커를 주장 경계로 사용하는 데 어려움을 겪는 것으로 나타났다.
• 분석 결과, 쉼표 뒤에 명사가 올 경우 모델이 주장을 과도하게 예측하는 경향이 있었지만, 'only'와 같은 부사가 쉼표 뒤에 올 경우 정확히 주장을 식별하는 것으로 나타나, 문법적 신호를 일관되게 처리하지 못하는 것으로 나타났다.