[논문 리뷰] Context-Aware Abbreviation Expansion Using Large Language Models

Shanqing Cai, Subhashini Venugopalan외 4명|arXiv (Cornell University)|2022. 05. 08.

Assistive Technology in Communication and Mobility인용 수 4

한 줄 요약

이 논문은 심한 운동 기능 장애가 있는 환자를 위한 고키스로크 저장 텍스트 입력을 가능하게 하기 위해 대규모 언어 모델(Large Language Models, LLMs)을 활용한 문맥 인식 약어 전개(Abbreviation Expansion, AE) 시스템을 제안한다. 대화적 문맥을 활용함으로써 64B 파라미터를 가진 LLM이 최대 10자 이내의 약어를 전체 어휘로 전개하는 데 70% 이상의 정확도를 달성하며, 최대 77%의 키스로크 절감률을 기록한다. 이는 제로 컨텍스트 기반 모델보다 유의하게 뛰어나며, 노이즈가 있는 데이터로 미세조정을 거친 후 타이핑 오류에 대한 강건성도 확보한다.

ABSTRACT

Motivated by the need for accelerating text entry in augmentative and alternative communication (AAC) for people with severe motor impairments, we propose a paradigm in which phrases are abbreviated aggressively as primarily word-initial letters. Our approach is to expand the abbreviations into full-phrase options by leveraging conversation context with the power of pretrained large language models (LLMs). Through zero-shot, few-shot, and fine-tuning experiments on four public conversation datasets, we show that for replies to the initial turn of a dialog, an LLM with 64B parameters is able to exactly expand over 70% of phrases with abbreviation length up to 10, leading to an effective keystroke saving rate of up to about 77% on these exact expansions. Including a small amount of context in the form of a single conversation turn more than doubles abbreviation expansion accuracies compared to having no context, an effect that is more pronounced for longer phrases. Additionally, the robustness of models against typo noise can be enhanced through fine-tuning on noisy data.

연구 동기 및 목표

• 심한 운동 기능 장애가 있는 환자들이 눈동자 기반 텍스트 입력을 사용할 때 발생하는 높은 운동적 및 인지적 비용 문제를 해결하기 위해 고키스로크 절감률이 높은 약어 체계를 도입하기 위함.
• 대규모 언어 모델(Large Language Models, LLMs)이 대화적 문맥을 활용해 매우 약어화된 어휘를 정확하게 전개할 수 있는지 탐구하기 위함.
• 문맥 길이, 소수의 예시 프롬프트, 미세조정이 약어 전개 정확도에 미치는 영향을 평가하기 위함.
• LLM 기반 약어 전개의 타이핑 노이즈에 대한 강건성과 이를 완화할 수 있는 전략을 평가하기 위함.
• 실시간 AAC 응용 프로그램에 적합한 확장 가능한 오픈 어휘 약어 전개 프레임워크를 개발하기 위함.

제안 방법

• 저자들은 어휘를 첫 글자로만 줄임으로써 최대 77%의 키스로크 절감률을 달성할 수 있는 고키스로크 절감 약어 체계를 구축한다.
• 공개된 대화 데이터셋 3종에 이 체계를 적용하여 대화적 문맥을 유지한 채 새로운 3개의 약어 전개 데이터셋을 합성한다.
• 백본 모델로 64B 파라미터를 가진 LLM을 사용하며, 입력은 약어와 대화에서 0~1턴의 문맥 윈도우로 구성된다.
• 모델은 후보 전개어를 생성하고, 문자열 매칭 히우리스틱을 통해 약어 패턴과 일치하는 것들만 유지하도록 필터링한다.
• 성능 평가는 제로샷 프롬프팅, 소수의 예시 프롬프팅, 합성 데이터셋에서의 미세조정을 통해 평가된다.
• 타이핑 노이즈의 영향을 테스트하기 위해 약어에 무작위 문자 교체를 도입하여 노이즈를 시뮬레이션하며, 노이즈가 포함된 데이터로 미세조정을 거치면 오류 내성 능력이 향상된다.

실험 결과

연구 질문

• RQ1 대화적 문맥이 제공될 경우, 대규모 언어 모델(Large Language Models)이 매우 약어화된 어휘(예: 1~10자 내외의 첫 글자)를 전체 어휘로 정확하게 전개할 수 있는가?
• RQ2 이전 대화 한 턴을 포함하는 것이, 문맥이 없는 경우에 비해 약어 전개 정확도에 어떤 영향을 미치는가?
• RQ3 합성된 노이즈가 포함된 약어 데이터로 LLM을 미세조정하면, 실제 AAC 환경에서의 타이핑 오류에 대한 강건성이 향상되는가?
• RQ4 제로샷, 소수의 예시, 미세조정된 프롬프팅 전략 간에 다양한 대화 맥락에서 전개 정확도는 어떻게 비교되는가?
• RQ5 긴 어휘나 드문 어휘의 경우 모델의 성능이 얼마나 떨어지며, 문맥이 이를 완화할 수 있는가?

주요 결과

• 대화의 초반 턴에 대한 응답에 대해, 64B 파라미터 LLM은 이전 대화 한 턴의 문맥을 제공받을 경우 70% 이상의 약어 전개 정확도를 달성하며, 제로 컨텍스트 설정 대비 정확도가 두 배 이상 향상된다.
• 정확하게 전개된 어휘에 대해 최대 77%의 키스로크 절감률(KSR)을 기록하여, LLM을 활용한 고KSR 텍스트 입력의 가능성을 입증한다.
• 단일 대화 턴을 포함시킬 경우, 문맥이 없는 경우에 비해 전개 정확도가 200% 이상 향상되며, 이는 긴 어휘일수록 더 두드러진다.
• 합성된 타이핑 실수 데이터로 모델을 미세조정하면, 노이즈가 있는 약어 상황에서의 오류율이 유의미하게 감소한다.
• 미세조정된 LLM은 평가된 세 개의 대화 데이터셋 전반에서 제로샷 및 소수의 예시 기반 기준 모델을 능가하는 최신 기술 수준의 성능을 기록한다.
• 충분한 문맥이 제공될 경우, 드문 어휘나 긴 어휘에 대해서도 모델의 성능이 유지되며, 이는 문맥이 오픈 어휘 약어 전개에서 모호성을 효과적으로 줄임을 시사한다.