[논문 리뷰] Automatic coding of students' writing via Contrastive Representation Learning in the Wasserstein space

Ruijie Jiang, Julia Gouvea외 3명|arXiv (Cornell University)|2020. 11. 26.

Topic Modeling참고 문헌 33인용 수 5

한 줄 요약

이 논문은 생물학 실험 보고서의 추론 복잡성 수준을 자동으로 평가하기 위해 워샤르스타인 공간에서의 대비 표현 학습 프레임워크를 제안한다. biLSTM와 CNN 인코더를 결합한 대비 학습을 통해 모델은 0.645의 Quadratic Weighted Kappa(QWK)를 달성하였으며, 이는 인간 평가자 간 신뢰도(0.839)에 가까운 성능을 보이며, 자연어 처리 기반의 정량적 학습 과학 연구의 스케일업 잠재력을 입증한다.

ABSTRACT

Qualitative analysis of verbal data is of central importance in the learning sciences. It is labor-intensive and time-consuming, however, which limits the amount of data researchers can include in studies. This work is a step towards building a statistical machine learning (ML) method for achieving an automated support for qualitative analyses of students' writing, here specifically in score laboratory reports in introductory biology for sophistication of argumentation and reasoning. We start with a set of lab reports from an undergraduate biology course, scored by a four-level scheme that considers the complexity of argument structure, the scope of evidence, and the care and nuance of conclusions. Using this set of labeled data, we show that a popular natural language modeling processing pipeline, namely vector representation of words, a.k.a word embeddings, followed by Long Short Term Memory (LSTM) model for capturing language generation as a state-space model, is able to quantitatively capture the scoring, with a high Quadratic Weighted Kappa (QWK) prediction score, when trained in via a novel contrastive learning set-up. We show that the ML algorithm approached the inter-rater reliability of human analysis. Ultimately, we conclude, that machine learning (ML) for natural language processing (NLP) holds promise for assisting learning sciences researchers in conducting qualitative studies at much larger scales than is currently possible.

연구 동기 및 목표

• 학습 과학 분야에서 학생 글쓰기의 정성적 코드화를 자동화하는 기계학습 방법을 개발함으로써, 수작업 기반의 인간 코드화에 대한 의존도를 줄이기.
• 키워드 매칭을 넘어서 맥락적 이해가 필요한 학생 실험 보고서의 추론 복잡성 평가 과제를 해결하기.
• 소규모이고 미세한 차이가 있는 글쓰기 평가 데이터셋에서 워샤르스타인 공간 내 대비 표현 학습이 모델 성능 향상에 기여하는지 평가하기.
• 모델의 예측 결과가 인간의 공감대와 일치하는지, 특히 경계선 또는 낮은 점수의 경우에 대해 재평가 대상이 되는지 확인하기.

제안 방법

• 모델은 레이블이 부여된 실험 보고서에서 의미 있는 텍스트 표현을 학습하기 위해 워샤르스타인 공간 내에서 대비 학습 설정을 적용한다.
• 단어 임베딩을 사용해 텍스트를 인코딩한 후, 순서적 특징과 구조적 특징을 포괄하기 위해 biLSTM 또는 CNN 아키텍처를 시퀀스 인코더로 사용한다.
• 유사한 샘플(동일한 점수)은 임베딩 공간에서 가까이, 비유사한 샘플(다른 점수)은 멀리 있도록 유도하는 대비 손실 함수를 사용해 모델을 훈련한다.
• 예측은 엔드 투 엔드 미세조정 없이 학습된 표현에 대해 k-최근접 이웃(KNN)을 사용해 수행된다.
• 프레임워크는 특징에 대한 민감도가 없으며 수작업 기반 특징 공학 필요 없이 작동하며, 소규모 데이터셋에서도 효과적이다.

실험 결과

연구 질문

• RQ1 워샤르스타인 공간 내 대비 표현 학습이 학생 실험 보고서의 추론 품질에 대한 미세한 차이를 효과적으로 포착할 수 있는가?
• RQ2 제안된 방법은 c-rater-ML과 같은 기존 NLP 모델 대비 추론 복잡성 평가에서 어떻게 성능을 냈는가?
• RQ3 기계학습 예측 결과가 인간의 공감대와 얼마나 일치하는가? 특히 경계선 또는 낮은 점수의 경우에 대해 재코드 결과와의 일치도는 어떠한가?
• RQ4 모델은 인간 코드화에서 일관성 없거나 모호한 경우를 식별해 인간 검토 대상으로 제안할 수 있는가?

주요 결과

• CoReL-W+CNN 모델은 0.645의 최고 QWK 점수를 기록하여 기준 모델인 c-rater-ML(0.0)을 초월했다.
• biLSTM 및 CoReL-W+biLSTM 모델은 각각 0.61과 0.628의 QWK 점수를 기록하여 인간 평가자와 중간에서 다수의 일치를 보였다.
• 모델은 Level 1 보고서의 예측에 특히 어려움을 겪었으며, 이는 전체 146건 중 단 12건 뿐이므로 클래스 불균형이 원인일 가능성이 높다.
• 재코드 과정에서 기존 인간 평가와 ML 예측이 다른 9건 중 4건이 ML 예측 방향으로 수정되었으며, 이는 ML이 모호하거나 일관성 없는 사례를 식별할 수 있음을 시사한다.
• 재코드 과정에서 인간 평가자 간 QWK는 0.701을 기록하여 해당 서브셋이 도전적이었음을 보여주며, 모델의 성능는 여전히 뛰어났다.
• 결과적으로 제안된 방법은 최소한의 특징 공학으로도 높은 신뢰도를 달성함으로써 대규모 정성적 연구 지원 잠재력을 보여주었다.