[논문 리뷰] DaLAJ - a dataset for linguistic acceptability judgments for Swedish: Format, baseline, sharing

Elena Volodina, Yousuf Ali Mohammed외 1명|arXiv (Cornell University)|2021. 05. 14.

Natural Language Processing Techniques참고 문헌 20인용 수 7

한 줄 요약

DaLAJ 1.0은 학습자 에세이에서 유래한 9,596개의 스웨덴어 문장으로 구성된 새로운 데이터셋으로, 어휘적 타당성 평가 작업을 위한 것이다. 이 데이터셋은 문장 재배열 및 익명화된 학습자 데이터를 사용하며, 모국어 및 수준 정보 외의 메타데이터는 포함하지 않아 GDPR 준수를 보장한다. BERT 임베딩을 사용한 기준 모델의 이진 분류 정확도는 58%로, 자연어 처리 및 제2언어 습득 연구에 유용함을 보여준다.

ABSTRACT

We present DaLAJ 1.0, a Dataset for Linguistic Acceptability Judgments for Swedish, comprising 9 596 sentences in its first version; and the initial experiment using it for the binary classification task. DaLAJ is based on the SweLL second language learner data, consisting of essays at different levels of proficiency. To make sure the dataset can be freely available despite the GDPR regulations, we have sentence-scrambled learner essays and removed part of the metadata about learners, keeping for each sentence only information about the mother tongue and the level of the course where the essay has been written. We use the normalized version of learner language as the basis for the DaLAJ sentences, and keep only one error per sentence. We repeat the same sentence for each individual correction tag used in the sentence. For DaLAJ 1.0 we have used four error categories (out of 35 available in SweLL), all connected to lexical or word-building choices. Our baseline results for the binary classification show an accuracy of 58% for DaLAJ 1.0 using BERT embeddings. The dataset is included in the SwedishGlue (Swe. SuperLim) benchmark. Below, we describe the format of the dataset, first experiments, our insights and the motivation for the chosen approach to data sharing.

연구 동기 및 목표

• 학습자 데이터를 활용해 스웨덴어 어휘적 타당성 평가를 위한 공개 가능한, GDPR 준수 데이터셋을 구축하는 것.
• 학습자에 의해 주석이 달린 데이터를 표준화된 형식으로 전환하여 대규모 NLP 연구, 오류 탐지, 수정 및 타당성 평가를 가능하게 하는 것.
• 학습자 데이터의 민감성 문제를 해결하기 위해 개인 식별 정보를 제거하고 문장 재배열 기법을 적용하는 것.
• 스웨덴어 NLP의 벤치마크를 설정하기 위해 DaLAJ를 스웨덴글루(SwedishGlue, Swe. SuperLim) 평가 세트에 통합하는 것.
• 학습자 어휘자료를 진정성 있고 전문가가 주석을付けた '타당하지 않은' 언어 예제의 원천으로 활용할 수 있는지 타당성을 탐색하는 것.

제안 방법

• 데이터셋은 502개의 정규화된 에세이와 35종류의 오류 유형에 걸쳐 29,285개의 수정 태그를 포함한 스웨덴어 학습자 어휘자료(SweLL)에서 유래한다.
• DaLAJ 1.0에서는 어휘나 어형 변화 선택과 관련된 4개의 오류 유형—어휘 파생, 복합어 형성, 비스웨덴어어 사용, 잘못된 어휘/구절—만을 선택하였다.
• 각 문장은 정정된 버전과 짝을 이루며, 오직 한 개의 오류만 다를 수 있도록 구성되어 4,798개의 문장 쌍과 총 9,596개의 문장을 생성하였다.
• GDPR 준수를 확보하기 위해 모든 학습자 식별 메타데이터를 제거하고, 재구성된 문장을 사용하여 재식별을 방지하였다.
• 최종 데이터셋에는 모국어와 수준 정보 외의 메타데이터는 포함되지 않았으며, 각 문장은 정규화된 형태로 유지되었다.
• 기본 성능 기준을 확립하기 위해 BERT 기반 이진 분류기가 데이터셋에 대해 훈련되었으며, 타당성 평가 작업에서 58%의 정확도를 달성하였다.

실험 결과

연구 질문

• RQ1 학습자 어휘자료는 GDPR 준수 가능하고 공개 가능한 타당성 평가용 데이터셋으로 전환될 수 있는가?
• RQ2 BERT 기반 모델은 학습자 오류에서 유도된 스웨덴어 문장의 타당성을 얼마나 효과적으로 분류할 수 있는가?
• RQ3 문장 재배열 및 익명화 기법은 NLP 작업에 있어 데이터의 언어적 정합성과 유용성을 유지하는가?
• RQ4 제안된 데이터 형식은 제2언어 습득 연구에서 정교한 오류 분석 및 모델 평가를 지원할 수 있는가?
• RQ5 이러한 데이터셋은 多국어 NLP에서 공동 작업 및 벤치마크 설정에 어떤 잠재력을 지닐 수 있는가?

주요 결과

• DaLAJ 1.0은 총 9,596개의 문장으로 구성되어 있으며, 이는 4,798개의 문장 쌍에서 유도되었으며, 각 쌍은 정확히 한 개의 어휘적 또는 어형 변화 오류로 다를 것이다.
• 이 데이터셋은 502개의 정규화된 에세이와 29,285개의 수정 태그를 포함한 SweLL 학습자 어휘자료에서 유래하였으며, 그 중 4,798개의 관련 수정 사례가 선별되었다.
• BERT 임베딩을 사용한 기준 이진 분류 모델은 타당성 평가 작업에서 58%의 정확도를 달성하였다.
• 이 데이터셋은 스웨덴글루 벤치마크에 통합되어 스웨덴어 NLP 모델의 표준화된 평가를 가능하게 하였다.
• 제안된 데이터 공유 방식—문장 재배열 및 최소한의 메타데이터—는 GDPR 준수를 보장하면서도 더 넓은 연구 접근성을 가능하게 하였다.
• 향후 작업으로는 모든 35개의 수정 태그를 포함하도록 데이터셋을 확장하고, 다중 오류 문장을 포함한 모델 테스트, 그리고 공동 작업 조직을 계획하고 있다.