[논문 리뷰] Towards Automated Lexicography: Generating and Evaluating Definitions for Learner's Dictionaries

Yusuke Ide, Adam Nohejl외 4명|arXiv (Cornell University)|2026. 01. 05.

Natural Language Processing Techniques인용 수 0

한 줄 요약

본 논문은 학습자 사전 정의 생성(LDDG)을 위한 프레임워크를 개발하고, LLM 기반 판정을 사용하는 새로운 일본어 DDG 데이터셋(D3J)을 통해 평가하며, 정의가 정의된 어휘에 머물도록 반복적 단순화(iterative simplification)를 제안하여 다양한 기준에서 Wiktionary를 능가하는 고품질 정의를 달성한다.

ABSTRACT

We study dictionary definition generation (DDG), i.e., the generation of non-contextualized definitions for given headwords. Dictionary definitions are an essential resource for learning word senses, but manually creating them is costly, which motivates us to automate the process. Specifically, we address learner's dictionary definition generation (LDDG), where definitions should consist of simple words. First, we introduce a reliable evaluation approach for DDG, based on our new evaluation criteria and powered by an LLM-as-a-judge. To provide reference definitions for the evaluation, we also construct a Japanese dataset in collaboration with a professional lexicographer. Validation results demonstrate that our evaluation approach agrees reasonably well with human annotators. Second, we propose an LDDG approach via iterative simplification with an LLM. Experimental results indicate that definitions generated by our approach achieve high scores on our criteria while maintaining lexical simplicity.

연구 동기 및 목표

• 학습자 사전(LDs)에 대한 자동 사전 정의의 필요성과 중요성을 동기 부여하고 정량화한다.
• LLMs를 판정자로 사용하는 사전 정의 생성(DDG)에 대한 신뢰할 수한 다차원 평가 프레임워크를 도입한다.
• LDs를 위한 정의를 정해진 간단한 어휘로 구성하기 위한 정의 평가 데이터셋(D3J)을 일본어로 구축한다.
• Few-shot 프롬프트와 반복적 단순화를 결합한 LDDG 접근법을 제시하여 어휘 제약을 충족한다.

제안 방법

• DDG에 대한 네 가지 평가 기준(진실성, 포괄성, 의미 기능성, 가이드라인 준수)을 제안한다.
• 이들 기준을 0–100 점수로 매핑하는 루브릭을 설계하고 Prometheus-Eval을 섬세한 판단에 맞게 개선한다.
• JMdict, BCCWJ, Wiktionary를 결합해 D3J를 만들고, 16K 어휘(TUBE16K)와 3K 하위집합(TUBE3K)을 정의하며, 사전용 정의를 렉시코그래퍼가 검토한다.
• LLM(GPT-5.1, Claude)을 이용한 few-shot 프롬프트 기반 LDDG 파이프라인을 구현하고 오픈 가중치 모델(Qwen, Swallow)과 비교한다.
• 의미 정확도를 유지하면서 정의 어휘에 없는 복잡한 단어를 제거하는 IterSim(Iterative Simplification) 알고리즘을 개발한다.
• Kendall의 tau를 이용해 평가의 LLM 기반 판단과 인간 주석자의 결과를 검증한다.

실험 결과

연구 질문

• RQ1 다중 기준의 재현 가능한 평가 프레임워크가 LLM으로 생성된 사전 정의를 신뢰성 있게 평가할 수 있는가?
• RQ2 LDDG 정의가 학습자 친화적 어휘를 엄격하게 준수하면서 의미 포괄성과 진실성을 보장하는가?
• RQ3 반복적 단순화가 어휘의 단순성을 개선하면서 의미와의 형태적 일치를 해치지 않는가?
• RQ4 LDDG 정의는 진실성, 포괄성, 의미 기능성, 가이드라인 준수 측면에서 Wiktionary와 어떻게 비교되는가?

주요 결과

• LLM 기반 평가(Prometheus-Eval)는 인간 주석자와의 합의가 합리적이며(각 기준에 대해 Kendall’s tau 평균 약 0.63) 네 가지 DDG 기준과의 정렬에서 BLEU/BERTScore보다 우수하다.
• D3J 데이터셋은 325 개의 표제어와 546 개의 의미를 포함하며, 다의성은 빈도대에서 23.5%부터 63.8%까지이다; 기준 정의는 어휘적으로 더 간단하다( TUBE16K에서 100%, TUBE3K에서 55.1%).
• Claude를 사용한 few-shot 프롬프트는 높은 전반 점수를 내며 세 가지 기준에서 Wiktionary를 능가할 수 있지만, 의미 특정성은 도전적일 수 있다.
• Iterative Simplification(IterSim)은 정의를 단순화하면서도 평가 점수를 거의 유지하여 TUBE16K 커버리지를 거의 100%로 증가시키고 정의를 간단하고 정확하게 만든다.
• IterSim 기반 결과는 진실성, 포괄성, 가이드라인 준수에 영향을 주지 않으면서 어휘의 단순성에서 상당한 개선을 보여준다.
• 평가자로서 GPT-5.1이 실험 대상 평가자 중 최고 수준의 기계-사람 일치를 달성했으며(일부 기준은 진실성/의미 특정성에 대해 주의 깊은 해석 필요).